KR101885473B1 - 시각 장애인 보조용 스마트 글래스 - Google Patents

Abstract

사용자의 보행 방향을 촬영하고, 보행 방향에 존재하는 대상과의 거리를 측정하고, 촬영된 영상과 측정된 거리에 기초하여 보행 방향에 대한 공간 영상을 생성하고, 공간 영상을 사용자가 인지할 수 있도록 복수의 단위 도형을 이용한 고대비 영상으로 변환하여 두 개의 렌즈 상에 출력하는 스마트 글래스 및 스마트 글래스의 동작 방법이 개시된다.

Description

시각 장애인 보조용 스마트 글래스{SMART GLASS TO HELP VISUALLY IMPAIRED}

본 발명은 시각 장애인 보조용 웨어러블 디바이스에 관한 것으로, 더욱 상세하게는 저시력자를 보조하여 독립적인 보행 및 생활을 가능케 하는 스마트 글래스 및 이의 동작 방법에 관한 것이다.

시각 장애인은 맹인과 저시력자를 모두 포함하는 개념이다. 시각 장애를 겪는 사람은 주변에서 흔하게 찾아볼 수 있는데, 시각 장애는 단순히 개인의 시력이 정상적이지 않다는 문제에서 그치지 않고 주변 환경에 대처하는 능력의 저하로 이어진다. 이에 따라, 시각 장애인의 실외 활동에 대한 욕구와 동기 부여가 감퇴되고 개인의 삶의 질 저하로 직결되는 문제가 있다.

시각 장애인은 빛을 완전히 볼 수 없는 전맹에서부터 사물을 어렴풋이 인식할 수 있는 저시력자까지 개인별로 다양한 임상적인 양상이 나타난다. 이에 따라, 전맹은 제외하더라도 저시력자의 활동을 보조하기 위한 여러 가지 수단들이 종래에 강구된 바 있다. 그러나, 지팡이 형태의 보조 수단의 경우 사용자가 상시 휴대하기 불편하고 분실될 가능성이 크다는 한계가 있고, 사용자의 머리 전체를 둘러싸는 디바이스의 경우 부피가 크고 중량이 무거워 타인의 시선을 의식하거나 심미적인 이유로 일상생활에서 사용하기 어렵다는 한계가 있었다. (예컨대, 대한민국 공개특허 제10-1998-0084798호(1998.12.05) 등)

이에 따라, 사용자가 상시 착용 가능하면서도 휴대성이 확보된 시각 장애인 보조 도구의 개발이 절실한 상황이다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 시각 장애인을 보조하는 스마트 글래스를 제안함으로써 시각 장애인들의 활동을 보조하여 재활을 돕고 독립성을 향상시키는 것이다.

본 발명의 또 다른 목적은 스마트 글래스를 장착한 시각 장애인의 시력과 주변 환경을 고려하여 스마트 글래스를 동작시킴으로써 사용자에게 최적화된 보조가 구현되도록 하는 것이다.

본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.

본 발명의 일 실시예에 따른 저시력 시각 장애인의 보행을 보조하는 스마트 글래스는 영상 촬영 수단을 통해 사용자의 보행 방향을 촬영하는 영상 촬영부, 거리 측정 센서를 통해 보행 방향에 존재하는 대상과의 거리를 측정하는 거리 측정부, 촬영된 영상과 측정된 거리에 기초하여 보행 방향에 대한 공간 영상을 생성하는 영상 처리부 및 공간 영상을 사용자가 인지할 수 있도록 고대비 영상으로 변환하고, 고대비 영상을 사용자의 좌안을 위한 제1 영상 및 사용자의 우안을 위한 제2 영상으로 분리하며, 제1 영상 및 제2 영상을 두 개의 렌즈 상에 출력하는 디스플레이부를 포함하되, 고대비 영상은 공간 영상 상의 일부 오브젝트를 복수의 단위 도형을 이용하여 표시할 수 있다.

또한, 디스플레이부는 사용자의 생체 정보, 사용자의 발화 및 날씨 정보에 기초하여 단위 도형의 크기 및 밝기 중 적어도 하나를 조절할 수 있다.

디스플레이부는 고대비 영상에 표시된 단위 도형을 조절함으로써 제1 영상 및 제2 영상을 보정(calibrate)하며, 제1 영상 및 제2 영상은 서로 독립적으로 보정될 수 있다.

또한, 일부 오브젝트는 공간 영상 상의 오브젝트 중에서 측정된 거리에 따라 추출된 오브젝트이며, 측정된 거리가 일정 거리 이내인 오브젝트들일 수 있다.

사용자의 보행에 따라 고대비 영상에 표시되는 오브젝트 중 특정 오브젝트에 대응하는 대상과의 거리가 가까워지면, 스마트 글래스는 특정 오브젝트를 표시하는 단위 도형의 개수를 증가시키거나, 특정 오브젝트를 표시하는 단위 도형의 밝기를 조절하거나 사용자에게 진동 또는 음성 신호를 출력할 수 있다.

본 발명의 일 실시예에 따른 저시력 시각 장애인의 보행을 보조하는 스마트 글래스의 동작 방법은 영상 촬영 수단을 통해 사용자의 보행 방향을 촬영하는 단계, 거리 측정 센서를 통해 보행 방향에 존재하는 대상과의 거리를 측정하는 단계, 촬영된 영상과 측정된 거리에 기초하여 보행 방향에 대한 공간 영상을 생성하는 단계, 공간 영상을 사용자가 인지할 수 있도록 고대비 영상으로 변환하는 단계 및 고대비 영상을 사용자의 좌안을 위한 제1 영상 및 사용자의 우안을 위한 제2 영상으로 분리하고, 제1 영상 및 제2 영상을 두 개의 렌즈 상에 출력하는 단계를 포함하되, 고대비 영상은 공간 영상 상의 일부 오브젝트를 복수의 단위 도형을 이용하여 표시할 수 있다.

한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

본 발명의 실시 예들에 따르면 다음과 같은 효과를 기대할 수 있다.

첫째로, 스마트 글래스를 장착한 시각 장애인들의 활동성이 향상되어 시각 장애인들의 삶의 질 개선에 크게 기여할 수 있다.

둘째로, 스마트 글래스가 획일화된 방식이 아닌 착용자의 상황에 맞추어 동작함으로써, 시각 장애인들을 개인 별로 최적화된 정도로 보조할 수 있게 되어 착용자의 만족도를 개선할 수 있다.

본 발명의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시 예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 제안하는 실시 예에 따른 스마트 글래스의 외관을 도시하는 도면이다.
도 2는 제안하는 실시 예에 따른 스마트 글래스의 세부 구성을 도시하는 도면이다.
도 3은 제안하는 실시 예에 따른 스마트 글래스의 구성 요소들을 설명하는 블록도이다.
도 4는 제안하는 실시 예에 따른 스마트 글래스의 동작 방법을 설명하는 흐름도이다.
도 5는 제안하는 실시 예에 따른 스마트 글래스의 동작 예를 설명하는 도면이다.
도 6은 제안하는 실시 예에 따른 스마트 글래스의 또 다른 동작 예를 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.

이하에서는 첨부된 도면을 참고하여 본 발명을 상세히 설명한다.

도 1은 제안하는 실시 예에 따른 스마트 글래스의 외관을 도시하는 도면이다. 제안하는 실시 예에 따른 스마트 글래스(100)는 앞서 설명한 시각 장애인 중 전맹을 제외한 저시력자의 활동을 보조하는 수단으로, 사용자가 안경을 쓰듯이 착용하는 형태의 웨어러블 디바이스(wearable device)이다.

도 1(a) 및 도 1(b)는 제안하는 스마트 글래스(100)의 외관을 도시하는 도면이다. 스마트 글래스(100)는 시각 장애인의 독립적인 보행을 가능케하기 위한 수단으로, 스마트 글래스(100)를 장착한 사용자의 전방 상황을 감지하고 분석하여 사용자가 전방 상황을 인지할 수 있도록 보조한다.

예를 들어, 스마트 글래스(100)는 전방 상황을 촬영하고 촬영된 영상을 분석함으로써, 전방의 위험 신호를 파악하고 보행 경로 상에 장애물의 위치 여부를 확인하여 구조물을 인식하며 저시력 사용자가 확인할 수 있는 방식으로 출력한다. 출력 방식은 영상신호, 청각신호, 촉각신호 등이 포함되나, 이에 한정되지 않는다. 이하에서는 제안하는 스마트 글래스(100)의 동작 과정을 구체적으로 설명한다.

도 2는 제안하는 실시 예에 따른 스마트 글래스의 세부 구성을 도시하는 도면이다. 제안하는 스마트 글래스(100)는 렌즈(110), 렌즈 커버(115), 거리 측정 센서(120), 프로세서(125), 진동부(130), 스피커(135), 카메라(140)를 포함하도록 구현될 수 있으나, 이러한 구성에 한정되는 것은 아니다. 즉, 도 2에 도시된 스마트 글래스(100)의 세부 구성과 결합 형태는 설명을 위한 예시에 불과하며, 스마트 글래스(100)는 다른 구성, 형태, 외관, 결합 방식으로 얼마든지 구현될 수 있다.

스마트 글래스(100)에 구비된 렌즈(110)는 사용자에게 전방 상황을 분석한 결과를 출력하기 위한 수단이다. 렌즈(110)는 사용자의 양안에 시각적인 정보를 출력하기 위하여 사용자의 좌안 및 우안에 인접한 위치에 각각 마련되며, 시각적 출력 수단으로 기능하기 위해 LCD, LED, OLED 패널 등으로 구현될 수 있다. 물론, 렌즈(110)는 상술한 패널 외에도 시각 정보를 디스플레이할 수 있는 다양한 방식으로 구현될 수 있다. 또한, 양쪽 패널에 시각장애인의 필요에 따라 비대칭적인 영상신호를 표시할 수도 있다. 또한, 양안의 주시점이 불일치하는 경우(예, 좌안 황반변성으로 인하여 우안은 중심주시이나 좌안이 주변부 주시인 경우)를 산정하여, 사용자의 요구에 따라 양안 망막의 다른 위치로 이미지 중심을 이동시킬 수도 있다.

렌즈 커버(115)는 스마트 글래스(100)에 구비된 두 개의 렌즈(110)에 인접하도록 배치되며, 각각의 렌즈 커버(115)는 렌즈(110)를 외부 노출과 충격으로부터 보호한다. 또한, 렌즈 커버(115)는 외부에서 스마트 글래스(100)의 렌즈(110)가 보이지 않도록 차폐시킴으로써 스마트 글래스(100)를 장착한 사용자의 프라이버시를 보호한다.

거리 측정 센서(120)는 스마트 글래스(100)와 전방의 대상(오브젝트)과의 거리를 측정하는 구성이다. 예를 들어, 거리 측정 센서(120)는 ToF(time of flight) 센서로 구현되어 초음파 신호를 송수신하여 전방에 위치하는 장애물, 도로, 사람 등 다양한 대상과의 거리를 측정할 수 있다.

프로세서(125)는 스마트 글래스(100) 내부에서 처리된 데이터를 처리하는 수단이다. 예를 들어, 프로세서(125)는 상술한 거리 측정 센서(120)가 수신한 반사 초음파 신호를 분석하여 전방의 오브젝트와의 거리를 계산하거나, 계산된 결과에 따라 영상을 생성하고 렌즈(110)에 출력할 수도 있다. 그 외에도 프로세서(125)는 네트워크를 통해 통신을 수행하여 외부 디바이스나 서버와 데이터를 주고 받을 수도 있다.

진동부(130)는 스마트 글래스(100)를 착용한 사용자에게 진동을 전달하는 수단이다. 스마트 글래스(100)는 렌즈(110)를 통해서 사용자에게 시각적인 정보를 제공할 수 있는 것과는 별도로, 진동부(130)를 통해 사용자가 진동을 느끼게 함으로써 사용자에게 촉각적인 정보를 제공한다. 진동은 사용자의 안면 부뿐만 아니라, 별도의 웨어러블 디바이스와 연계되어 타 신체부위로 진동 전달도 가능하다.

스피커(135)는 스마트 글래스(100)를 착용한 사용자에게 청각적인 정보를 제공하는 수단이다. 스피커(135) 또한 진동부(130)와 유사하게 사용자에게 복합적인 정보를 전달하기 위해 활용되며, 스피커(135)와 진동부(130)가 일체로 구성되어 골전도 스피커로 구현될 수도 있다. 또한, 시각장애인이 착용가능한 이어폰의 형태로도 구현될 수도 있다

카메라(140)는 스마트 글래스(100) 전방을 촬영하는 영상 촬영 수단이다. 스마트 글래스(100)는 둘 이상의 카메라(140)를 포함할 수 있으며, 카메라(140)를 통해 촬영된 전방 영상은 거리 측정 센서(120)에 의해 수집된 정보와 함께 처리되어 사용자의 보행을 보조하기 위해 활용된다. 도 2에는 카메라(140)가 스마트 글래스의 양 렌즈 바깥쪽에 2개 구비된 것으로 도시되나, 도시된 개수와 위치에 한정되는 것은 아님은 물론이다.

도 3은 제안하는 실시 예에 따른 스마트 글래스의 구성 요소들을 설명하는 블록도이다. 앞서 도 2에서는 스마트 글래스의 구성을 시각적으로 확인해가며 각각의 구성들을 설명한 반면, 도 3에서는 스마트 글래스의 구성을 도식화하여 그 기능과 구체적인 동작에 대해 설명한다.

제안하는 스마트 글래스(1000)는 거리 측정부(1100), 영상 촬영부(1200), 영상 처리부(1300), 디스플레이부(1400), 사용자 입출력부(1500), 통신부(1600), 메모리(1700), 전원부(1800) 및 제어부(1900)를 포함한다. 스마트 글래스(1000)가 도 3에 도시된 구성보다 적은 구성으로 구현되거나 다른 범용적인 구성을 더 포함할 수 있음은 물론이다.

거리 측정부(1100)는 앞서 도 2에서 설명한 거리 측정 센서를 활용하여 스마트 글래스(1000)와 오브젝트와의 거리를 측정한다. 오브젝트는 스마트 글래스(1000)를 착용한 사용자의 전방에 위치하는 장애물, 도로, 구조물 등의 사물뿐 아니라 사람도 포함하는 개념이며, 거리 측정부(1100)는 거리 측정 센서를 제어하여 사용자의 이동 경로 상에 위치하는 오브젝트들의 거리를 측정한다. 측정된 거리는 스마트 글래스(1000)를 착용한 사용자와의 상대적인 값으로써 표현될 수 있다. 또한, 거리 측정부는 소형 레이더를 사용할 수도 있다.

영상 촬영부(1200)는 도 2에서 설명한 카메라를 제어하여 스마트 글래스(1000) 전방의 영상을 촬영한다. 영상 촬영부(1200)는 스마트 글래스(1000)에 구비된 둘 이상의 카메라를 제어하여 전방의 영상을 연속적으로 촬영하며, 카메라가 서로 이격되어 위치하는 경우 영상 촬영부(1200)는 스마트 글래스(1000)의 전방을 각각의 카메라를 통해서 서로 다른 각도로 촬영할 수도 있다.

영상 처리부(1300)는 영상 촬영부(1200)가 카메라를 통해 촬영한 데이터를 처리하여 전방에 대한 영상을 생성한다. 영상 처리부(1300)에 의해 생성된 영상은 전방의 공간에 대한 정보를 포함하기 때문에, 이하에서는 영상 처리부(1300)가 생성한 영상을 공간 영상이라 칭한다. 영상 처리부(1300)는 공간 영상을 생성하는 과정에서 영상 촬영부(1200)에 의해 촬영된 데이터와 거리 측정부(1100)에 의해 측정된 거리를 모두 활용한다.

예를 들어, 영상 촬영부(1200)가 두 개의 카메라를 통해 전방을 서로 다른 방향에서 촬영한 경우, 영상 처리부(1300)는 두 카메라를 통해 촬영된 데이터를 정합하여 전방에 대한 공간 영상을 생성할 수도 있다. 또는, 영상 처리부(1300)는 거리 측정부(1100)가 측정한 데이터를 공간 영상과 함께 분석함으로써 공간 영상에서 확인되는 오브젝트들의 정확한 위치와 거리를 파악할 수도 있다. 필요에 따라 전방에 미리 입력된 중요한 오브젝트가 나타날 경우, 영상 처리부는 공간 영상에서 오브젝트를 인식하여 사용자에게 시각, 청각, 촉각 등의 신호로 전달할 수 있다. 예를 들어 가족의 얼굴이나, 빈번하게 마주치는 보행 장애요소(예컨대, 돌진하는 자전거나 자동차) 등이 이에 해당할 수 있다.

디스플레이부(1400)는 영상 처리부(1300)가 생성한 공간 영상을 도 2에서 설명한 렌즈 상에 출력한다. 도 2에서 설명했듯이 스마트 글래스(1000)는 두 개의 렌즈를 구비하기 때문에, 디스플레이부(1400)는 두 렌즈를 제어하여 사용자의 양안을 향하여 시각적인 정보를 출력한다. 렌즈에 시각적인 정보를 출력한다는 것은 앞서 설명한 공간 영상을 스마트 글래스(1000)의 착용자가 확인할 수 있는 방식으로 렌즈 상에 디스플레이하는 과정을 의미한다. 구체적으로 설명하면, 시각 장애를 가진 사용자는 패널 상에 출력되는 영상을 그대로 인지할 수 없다. 따라서, 디스플레이부(1400)는 생성된 공간 영상을 고대비(high contrast) 영상으로 변환한다. 고대비 영상은 시각 장애를 가진 사용자가 인지할 수 있게끔 변환된 영상을 의미하며, 도 5 및 도 6에서 구체적으로 설명한다.

이어서, 디스플레이부(1400)는 고대비 영상을 사용자의 좌안과 우안에 인접한 렌즈에 각각 출력한다. 이때, 사용자의 좌안의 시력과 우안의 시력이 차이가 나는 경우, 디스플레이부(1400)는 사용자가 전방의 상황을 정확하게 인지할 수 있도록 고대비 영상을 분리한 뒤 사용자의 좌안/우안 시력에 맞추어 보정(calibrate)하는 과정을 거친다. 디스플레이부(1400)가 고대비 영상을 보정하는 과정은 영상에 출력되는 단위 도형의 크기와 밝기를 조절하는 과정으로 이해될 수 있으며, 디스플레이부(1400)는 사용자의 시력 외에도 날씨, 사용자의 피드백에 따라 영상을 보정할 수 있다. 구체적인 내용은 도 5 및 도 6에서 설명한다. 영상의 보정에는 밝기 및 해상도도 포함되며, 특정 시각 장애인에게 민감한 색깔을 사용할 수도 있다.

사용자 입출력부(1500)는 사용자로부터 스마트 글래스(1000)를 제어하는 입력을 수신하고 사용자에게 시각적인 수단 외의 수단을 통해 정보를 출력하는 수단이다. 예를 들어, 사용자 입출력부(1500)는 사용자로부터 터치 입력을 수신하기 위한 터치 패널, 스마트 글래스(1000)의 다양한 위치에 구비될 수 있는 버튼, 사용자의 음성 입력을 감지하기 위한 마이크 등 여러 가지 수단을 구비할 수 있다. 또한, 사용자 입출력부(1500)는 사용자에게 청각적인 정보를 제공하기 위한 스피커, 사용자에게 촉각적인 정보를 제공하기 위한 진동부를 포함할 수도 있다.

통신부(1600)는 네트워크를 통해서 외부 디바이스나 서버와 데이터를 주고받는다. 즉, 통신부(1600)는 스마트 글래스(1000) 내부에서 처리된 데이터를 외부로 전송할 수 있으며, 반대로 외부의 서버나 외부 디바이스로부터 데이터나 정보, 값 등을 수신할 수도 있다. 예를 들어, 통신부(1600)는 현재 날씨나 사용자가 보행 중인 장소의 정보를 수신하기 위해 외부 서버와 통신을 수행할 수 있으며, 스마트 글래스(1000)가 생성한 공간 영상을 외부 서버에 업로드할 수도 있다.

메모리(1700)는 스마트 글래스(1000)에서 처리된 값, 데이터뿐 아니라 스마트 글래스(1000)가 동작하기 위한 프로그램, 알고리즘, 소프트웨어 등을 저장한다. 메모리(1700)는 스마트 글래스(1000)의 내부에 하드웨어로 구현될 수도 있고, 상술한 통신부(1600)를 통해서 연결되는 네트워크 상의 클라우드 서버 형태로 구현될 수도 있다.

전원부(1800)는 스마트 글래스(1000)가 동작하기 위해 필요한 전력을 공급하는 수단이다. 전원부(1800)는 스마트 글래스(1000)의 구성요소들에 전력을 지속적으로 공급하며, 외부로부터 전력을 공급받아 충전되는 충전식 배터리 형태로 구현될 수 있다.

제어부(1900)는 스마트 글래스(1000)가 그 목적에 따라 기능하도록 각 구성요소들을 유기적으로 제어한다. 예를 들어, 제어부(1900)는 거리 측정부(1100)가 측정한 거리 정보와 영상 촬영부(1200)가 촬영한 영상을 이용하여 공간 영상을 생성하도록 영상 처리부(1300)를 제어하거나, 영상 처리부(1300)에 의해 생성된 영상을 분리하여 출력하도록 디스플레이부(1400)를 제어할 수 있다.

도 4는 제안하는 실시 예에 따른 스마트 글래스의 동작 방법을 설명하는 흐름도이다. 도 4에서는 앞서 도 1 내지 도 3에서 설명한 내용들에 따라서 스마트 글래스가 동작하는 과정을 시계열적인 흐름에 따라 도시 및 설명한다. 따라서, 도 4에서 구체적인 설명이 생략되더라도 도 1 내지 도 3에서 설명한 내용들이 도 4에도 유사하게 적용될 수 있음은 물론이다.

사용자가 장착한 스마트 글래스는 사용자 전방의 영상을 촬영하고 전방에 위치한 오브젝트와의 거리를 측정한다(S410). 스마트 글래스는 카메라를 통해 사용자의 전방을 촬영하며 둘 이상의 카메라를 통해 전방을 서로 다른 방향과 각도로 측정하는 것 또한 가능하다. 스마트 글래스는 ToF 센서와 같이 특정 대상과의 거리를 측정할 수 있는 수단을 활용하여 전방에 위치한 사람, 사물, 구조물, 장애물, 도로, 동물 등 다양한 오브젝트들과의 거리를 측정할 수 있다.

이어서, 스마트 글래스는 촬영된 영상과 측정된 거리를 기반으로 공간 영상을 생성한다(S430). 공간 영상은 사용자가 보행하며 나아갈 앞쪽 공간에 대한 정보를 포함하는 영상을 의미함은 앞서 설명한 바 있다. 한편, 생성된 공간 영상은 후술하는 바와 같이 디스플레이부를 통해 출력될 수 있음은 물론이고, 사용자에게 자동차 사고가 발생하거나 강도가 습격하는 등 긴급 상황이 발생하는 경우를 해결하기 위한 용도로도 활용될 수 있다. 즉, 공간 영상은 시각 장애를 가진 사용자가 부당하게 피해를 입는 것을 방지하기 위하여 주변 상황을 지속적으로 기록함으로써, 법적인 분쟁이 발생하는 경우 증빙 자료로 활용되는 등 차량의 블랙박스와 같은 역할을 할 수도 있다.

한편, 스마트 글래스는 공간 영상을 생성한 뒤 공간 영상을 분리하여 디스플레이부를 통해 사용자 양안의 렌즈에 각각 출력한다(S430). 이때, 스마트 글래스는 공간 영상을 출력하기에 앞서 고대비 영상으로 변환한 뒤 고대비 영상을 디스플레이부에 출력할 수 있음은 앞서 설명한 바 있다. 즉, 스마트 글래스는 먼저 시각 장애를 가진 사용자가 인지할 수 있도록 공간 영상을 고대비 영상으로 변환한다. 이때, 고대비 영상은 공간 영상에 나타나는 오브젝트들 중에서 사용자와의 거리가 일정 거리 이하인 오브젝트들만 추출하여 표시하는 영상일 수 있으며, 고대비 영상은 추출된 오브젝트들을 특정한 형상의 단위 도형으로 표시할 수 있다. 구체적인 과정은 도 5에서 설명한다.

스마트 글래스는 공간 영상을 고대비 영상으로 변환하고 좌안을 위한 제1 영상과 우안을 위한 제2 영상으로 변환하여 사용자의 양안 부근에 마련된 두 개의 서로 다른 렌즈에 각각 출력한다. 이때, 스마트 글래스는 고대비 영상을 사용자의 양안 시력에 따라 서로 다르게 보정함으로써 제1 영상과 제2 영상을 생성할 수 있다. 즉, 스마트 글래스는 사용자의 좌안 시력이 우안 시력보다 더 나쁜 경우에는 좌안을 향해 출력될 제1 영상은 더 밝거나 단위 도형의 크기를 더 크게 보정할 수 있다. 또 다른 예로 좌안은 중심 시력이 좋고, 우안은 황반변성으로 인하여 주변 시력이 좋은 경우, 좌안을 위한 제1 영상은 망막 중심에, 우안을 위한 제2 영상은 망막 주변부에 맞추어 영상을 제시할 수 있다. 다시 말해서, 스마트 글래스는 사용자의 생체 정보(즉, 시력, 컨디션 등)에 맞추어 고대비 영상이 사용자에게 최적으로 출력될 수 있도록 보정하여 출력한다. 또한, 스마트 글래스는 사용자의 생체 정보뿐 아니라 사용자의 발화를 분석하여 인지되는 음성 피드백 신호에 따라 고대비 영상을 보정하여 출력할 수도 있다(S440).

예를 들어, 사용자의 신체 상태나 컨디션에 따라 양안 중 한쪽이 더 안보일 수도 있으며, 날씨가 화창한지 어두운지에 따라서 사용자가 실내/실외에서 영상을 확인할 수 있는 정도가 달라질 수도 있다. 이와 같이, 사용자는 체감하는 정도에 따라 제1 영상 및 제2 영상이 출력되는 정도를 조절하기 원하고 정해진 음성 신호를 발화할 수 있으며, 스마트 글래스는 사용자의 발화를 음성 피드백으로써 분석한 결과에 따라 제1 영상과 제2 영상을 조절하여 출력할 수 있다. 정리하면, 스마트 글래스는 사용자의 생체 정보와 음성 피드백, 나아가 날씨까지 종합적으로 고려하여 고대비 영상을 보정하여 출력하며, 제1 영상과 제2 영상을 서로 다른 정도로 보정할 수 있음은 앞서 설명한 바와 같다.

도 5는 제안하는 실시 예에 따른 스마트 글래스의 동작 예를 설명하는 도면이다. 도 5에서는 앞서 설명했던 고대비 영상에 대해 구체적으로 설명한다. 도 5(a)에서, 스마트 글래스(1000)는 사용자가 보행하는 전방을 촬영하고 오브젝트와의 거리를 측정한다. 도시된 예에서 사용자가 보행하는 방향에서는 사람(510)과 나무(520)가 오브젝트로써 인식된다. 이어서, 스마트 글래스는 도 5(a)의 상황을 촬영한 뒤 도 5(b)의 고대비 영상으로 변환한다. 고대비 영상은 앞서 설명한 바와 같이 사용자에게 일정 거리 이상으로 인접한 오브젝트들만을 추출하여 표시하는 영상으로, 도 5(a)에서 나무보다 더 먼 거리에 다른 오브젝트가 위치하더라도 도 5(b)와 같이 사람과 나무만이 고대비 영상(530) 상에 표시될 수 있다. 도 5(b)에는 도시되지 않으나, 고대비 영상(530)에서 오브젝트(540, 550)는 흰색으로, 오브젝트(540, 550) 외의 배경은 검은색으로 출력함으로써 사용자가 오브젝트(540, 550)를 좀더 수월하게 인지할 수 있도록 유도한다.

한편, 도 5(b)의 고대비 영상(530)은 오브젝트를 복수의 단위 도형으로써 표시하는 영상이다. 단위 도형은 고대비 영상에서 오브젝트를 표현하기 위한 사용되는 동일한 외형과 크기의 도형이며, 도 5(b)에서는 정육각형 형태의 단위 도형이 활용되는 예가 도시된다. 즉, 고대비 영상은 일정 거리 이내에 위치하여 추출된 오브젝트들을 복수의 단위 도형을 이용하여 표현하며, 도 5(b)에는 사람(540)과 나무(550)가 각각 복수의 단위 도형들을 이용하여 표시되는 예가 도시된다.

도 6은 제안하는 실시 예에 따른 스마트 글래스의 또 다른 동작 예를 설명하는 도면이다. 도 6에서는 스마트 글래스가 사용자에게 출력될 고대비 영상을 보정(조절)하는 과정을 구체적으로 설명한다. 도 6(a)에는 정육각형 형태의 단위 도형(610)이 도시된다. 도 6(b)는 단위 도형의 크기가 620에서 630으로 작게 조절된 결과가 도시된다.

앞서 설명했듯이, 스마트 글래스는 사용자의 생체 정보, 피드백, 날씨에 따라 고대비 영상을 조절하여 출력한다. 이때, 사용자의 시력이 좋을수록 사물을 더 세밀하고 구체적으로 인지할 수 있고, 이것은 곧 더 높은 해상도의 영상을 확인할 수 있음을 의미한다. 다시 말해서, 스마트 글래스는 크기 620의 단위 도형이 필요한 경우에 비해서 사용자의 시력이 더 좋은 경우에는 크기 630의 단위 도형을 이용하여 고대비 영상을 구성할 수 있다. 이에 따라, 시력이 더 좋은 사용자에게는 더 세밀하고 구체적인 정보를 전달하는 것이 가능하다.

또한, 스마트 글래스는 단위 도형의 크기뿐 아니라 밝기를 조절하는 것 또한 가능하다. 스마트 글래스는 외부의 날씨가 밝은 경우에는 고대비 영상을 더 밝게 출력하고 날씨가 어두운 경우에는 고대비 영상을 덜 밝게 출력함으로써 사용자가 일정한 정도로 고대비 영상을 인지하게끔 할 수 있다. 또한, 고대비 감도 영상에 사용될 색깔을 사용자의 선호도에 따라 조절할 수도 있다. 예를 들어 검은 바탕에 흰색을 선택하는 사용자와 파란바탕에 노란색을 선택하는 사용자 등이 있을 수 있다.

다시 도 5를 통해서 스마트 글래스가 동작하는 과정에 대해 더 설명한다. 도 5(a)에서 스마트 글래스(1000)를 착용한 사용자가 앞으로 보행하면서, 사람(510) 오브젝트와 가까워질 수 있다. 이에 따라, 스마트 글래스(1000)는 특정 오브젝트와 인접해가고 있음을 사용자에게 여러 가지 방식으로 알릴 수 있다. 먼저, 스마트 글래스(1000)는 도 5(b)의 고대비 영상(530) 상에서 오브젝트(540)의 크기를 점점 크게 출력하여 사용자에게 사람(510) 오브젝트와의 근접을 시각적으로 알릴 수 있다. 또, 스마트 글래스(1000)는 사용자에게 스피커(또는, 스마트 글래스에 연결된 이어폰)를 통해서 오브젝트가 인접했음을 알리는 음성 신호(예를 들어, '좌측 전방 오브젝트와 가까워지는 중입니다', '좌측 전방에 오브젝트가 매우 인접한 상황입니다', 또는 '좌측 전방을 주의하세요') 또는 간단한 비프음을 출력할 수도 있으며, 오브젝트의 인접을 알리기 위한 진동 신호를 출력하여 사용자에게 촉각적인 정보를 전달할 수도 있다.

또는, 스마트 글래스(1000)는 오브젝트의 거리를 밝기와 연관시켜 표시할 수도 있다. 즉, 스마트 글래스(1000)는 특정 오브젝트가 가까워지면 고대비 영상(530) 상에서 오브젝트(540)의 크기를 크게 표시할 뿐 아니라 오브젝트(540)의 단위 도형의 밝기를 더 밝게 조절하여 출력할 수도 있다. 이에 따라, 스마트 글래스(1000)를 착용한 사용자는 인접한 오브젝트의 위험성을 더 쉽게 인지할 수 있게 된다.

상술한 실시 예들에 있어서, 스마트 글래스가 일정한 장소를 일정한 경로에 따라 지속적으로 이동하며 사용자를 보조하는 경우, 기계학습을 통해 영상 촬영 및 출력의 정확도와 효율이 증대되는 것이 가능하게 된다. 특히, 시각 장애를 가진 사용자가 집 주변이나 공원과 같이 일정한 장소를 산책하는 경우 스마트 글래스는 사용자의 보행 장소에 대한 구체적인 정보(나무, 벤치의 위치, 도로와 장애물의 위치와 거리 등)를 누적하여 습득할 수 있게 되고, 오브젝트의 인식과 출력 또한 신속하고 정확하게 하는 것이 가능해진다. 이에 따라, 스마트 글래스의 사용자는 고정되지 않고 이동하는 오브젝트의 등장을 더 손쉽게 인지할 수 있어 위험에 노출될 가능성이 낮아지는 것을 기대할 수 있게 된다.

앞서 설명한 스마트 글래스는 시각 장애를 가진 사용자의 보행을 보조함으로써 사용자에게 독립심과 자신감을 길러줄 수 있다. 이에 따라, 사용자에게 시각 장애를 극복하기 위한 동기 부여를 해줄 수 있어 시각 장애인 스스로 활동하는 것을 유도할 수 있게 된다.

한편, 이상에서 설명한 스마트 글래스의 동작 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.

전술한 본 발명의 설명들은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 스마트 글래스 110: 렌즈
115: 렌즈 커버 120: 거리 측정 센서
125: 프로세서 130: 진동부
135: 스피커 140: 카메라
1000: 스마트 글래스 1100: 거리 측정부
1200: 영상 촬영부 1300: 영상 처리부
1400: 디스플레이부 1500: 사용자 입출력부
1600: 통신부 1700: 메모리
1800: 전원부 1900: 제어부

Claims (7)

1. 저시력 시각 장애인의 보행을 보조하는 스마트 글래스에 있어서,
   영상 촬영 수단을 통해 사용자의 보행 방향을 촬영하는 영상 촬영부;
   거리 측정 센서를 통해 상기 보행 방향에 존재하는 대상과의 거리를 측정하는 거리 측정부;
   상기 촬영된 영상과 상기 측정된 거리에 기초하여 상기 보행 방향에 대한 공간 영상을 생성하는 영상 처리부; 및
   상기 공간 영상을 상기 사용자가 인지할 수 있도록 고대비 영상으로 변환하고, 상기 고대비 영상을 상기 사용자의 좌안을 위한 제1 영상 및 상기 사용자의 우안을 위한 제2 영상으로 분리하며, 상기 제1 영상 및 상기 제2 영상을 두 개의 렌즈 상에 출력하는 디스플레이부를 포함하되,
   상기 고대비 영상은 상기 공간 영상 상의 일부 오브젝트를 복수의 단위 도형을 이용하여 표시하고, 상기 복수의 단위 도형 각각은 상호 중첩되지 않는 동일한 외형과 크기의 도형이며,
   상기 디스플레이부는 상기 사용자의 생체 정보, 상기 사용자의 발화 및 날씨정보에 기초하여 상기 단위 도형의 크기 및 밝기 중 적어도 하나를 조절함으로써 상기 제1영상 및 상기 제2영상의 밝기, 해상도 및 색깔 중 적어도 하나를 보정(calibrate)하며,
   상기 제1영상 및 상기 제2영상은 서로 독립적으로 보정되는 것을 특징으로 하는, 스마트 글래스.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 일부 오브젝트는 상기 공간 영상 상의 오브젝트 중에서 상기 측정된 거리에 따라 추출된 오브젝트이며, 상기 측정된 거리가 일정 거리 이내인 오브젝트들인 것인, 스마트 글래스.
   
5. 제1항에 있어서,
   상기 사용자의 보행에 따라 상기 고대비 영상에 표시되는 오브젝트 중 특정 오브젝트에 대응하는 대상과의 거리가 가까워지면,
   상기 스마트 글래스는 상기 특정 오브젝트를 표시하는 단위 도형의 개수를 증가시키거나, 상기 특정 오브젝트를 표시하는 단위 도형의 밝기를 조절하거나 상기 사용자에게 진동 또는 음성 신호를 출력하는 것인, 스마트 글래스.
   
6. 저시력 시각 장애인의 보행을 보조하는 스마트 글래스의 동작 방법에
   있어서,
   영상 촬영 수단을 통해 사용자의 보행 방향을 촬영하는 단계;
   거리 측정 센서를 통해 상기 보행 방향에 존재하는 대상과의 거리를 측정하는 단계;
   상기 촬영된 영상과 상기 측정된 거리에 기초하여 상기 보행 방향에 대한 공간 영상을 생성하는 단계;
   상기 공간 영상을 상기 사용자가 인지할 수 있도록 고대비 영상으로 변환하는 단계; 및
   상기 고대비 영상을 상기 사용자의 좌안을 위한 제1 영상 및 상기 사용자의 우안을 위한 제2 영상으로 분리하고, 상기 제1 영상 및 상기 제2 영상을 두 개의 렌즈 상에 출력하는 단계를 포함하되,
   상기 고대비 영상은 상기 공간 영상 상의 일부 오브젝트를 복수의 단위 도형을 이용하여 표시하고, 상기 복수의 단위 도형 각각은 상호 중첩되지 않는 동일한 외형과 크기의 도형이며,
   상기 상기 제1영상 및 상기 제2영상을 두 개의 렌즈 상에 출력하는 단계는 상기 사용자의 생체 정보, 상기 사용자의 발화 및 날씨정보에 기초하여 상기 단위 도형의 크기 및 밝기 중 적어도 하나를 조절함으로써 상기 제1영상 및 상기 제2영상의 밝기, 해상도 및 색깔 중 적어도 하나를 보정(calibrate)하며,
   상기 제1영상 및 상기 제2영상은 서로 독립적으로 보정되는 단계를 포함하는, 스마트 글래스의 동작 방법.
   
7. 제6항에 기재된 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
   

Images