KR20160028891A - 깊이 카메라와 방향 센서를 이용한 시각 장애인을 위한 장애물 인식 장치 - Google Patents

Abstract

깊이 카메라와 방향 센서로부터 전방의 깊이 영상 및 장치의 방향 정보를 측정하 보도 정보를 생성하여 촉각 장치 등 출력 장치로 알려주는 시각 장애인을 위한 장애물 인식 장치에 관한 것으로서, 깊이 영상을 촬영하는 깊이 카메라; 상기 인식 장치의 방향을 센싱하는 방향 센서; 상기 깊이 영상과 상기 방향을 이용하여 장애물 위치 및 높이를 계산하는 연산부; 및, 상기 장애물 위치 및 높이를 출력하는 출력장치를 포함하고, 상기 연산부는 상기 깊이 영상의 픽셀의 좌표 및 상기 픽셀의 깊이를 이용해 카메라 좌표계에서의 상대 위치를 계산하고, 상기 방향을 이용하여 상기 카메라가 기울어져 변환된 상대 위치를 역 회전하여 상기 픽셀의 실제 위치 및 실제 높이를 계산하고, 상기 실제 높이가 소정의 높이 이상인 픽셀을 장애물로 판단하는 구성을 마련한다.
상기와 같은 장애물 인식 장치에 의하여, 방향 센서에 의해 센싱된 방향으로 깊이 카메라의 깊이영상 좌표를 시각장애인의 정면으로 보정함으로써, 장애물의 위치 및 높이를 보다 정확하게 산출하여 시각장애인에게 알려줄 수 있다.

Description

깊이 카메라와 방향 센서를 이용한 시각 장애인을 위한 장애물 인식 장치 { An objection recognition device for a blind person using a depth camera and a direction-detecting sensor }

본 발명은 시각 장애인이 벨트 등에 착용하는 장치로서, 깊이 카메라와 방향 센서를 구비하고, 이로부터 전방의 깊이 정보 및 장치의 방향 정보를 측정하여, 연산된 전방의 보도 정보를 촉각 장치 등 출력 장치로 알려주는 시각 장애인을 위한 장애물 인식 장치에 관한 것이다.

일반적으로, 시각장애인들은 외부의 환경에 대한 정보를 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물과 같은 위험한 요소들에 대해 적절한 대응을 하기가 어렵다. 또한, 시각 장애인들을 위한 시설이 턱없이 부족하고, 아직 시각장애인들이 혼자서 다니기엔 매우 위험한 상황이다.

이를 위해, 시각장애인들의 안전한 보행을 위한 도구 장치 및 시스템들이 개발되고 있다. 종래의 시각장애인 보행 안내 시스템들은 초음파, 촉각, 레이저, GPS, 카메라 등을 이용하여 시각장애인의 보행을 보조하기 위한 안내정보를 제공하고 있다.

일례로서, 이러한 보행 안내 장치나 시스템들은 벨트 또는 지팡이에 초음파 센서를 장착하여 장애물을 검출하고, 검출된 장애물 위치를 알려주거나 위험하지 않은 방향으로 길을 안내하도록 되어 있다. 그러나 이러한 보행 안내 시스템은 전방에 가까운 장애물의 유무만을 검출할 수 있기 때문에, 감지 거리에 제한이 있거나 전체적인 장애물의 위치를 알려주지 못한다는 단점을 가지고 있다.

상기와 같은 문제점을 해결하고자, 카메라로부터 실외 환경의 영상을 획득하여, 획득된 영상에서 보행영역을 선정하고, 그 보행영역 내에서 존재하는 장애물이 검출된 경우 장애물의 위치 및 장애물과 보행자와의 거리를 알려주는 기술들이 제시되고 있다[특허문헌 1]. 또한, 카메라로 촬영한 피사체의 영상을 전기적 신호로 변환하여, 사람의 피부 촉각을 자극하여 화상 정보를 인식하도록 하는 시각장애인용 사물인식장치도 제시되고 있다[특허문헌 2].

그러나 상기와 같은 종래 기술은 카메라에 의해 획득된 영상에서 에지(edge) 등을 기초로 보행자의 위치 및 보행자가 바라보는 방향을 산출한다. 예를 들어, 카메라가 바라보는 방향이 보행자가 바라보는 방향으로 설정하고, 장애물을 추출한다. 즉, 영상 자체에서 보행자의 방향을 추출한다. 그러나 카메라가 구비된 장애물 인식 장치는 시각장애인 또는 보행자가 몸에 장착되기 때문에, 카메라의 방향과 보행자의 방향이 일치되지 않을 수 있고, 이런 경우, 보행자의 방향이 틀릴 수 있다.

[특허문헌 1] 한국등록특허 제10-1054025호(2011.08.04.공고) [특허문헌 2] 한국공개특허 제10-2011-0111563호(2011.10.12.공개)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 시각 장애인이 벨트 등에 착용하는 장치로서, 깊이 카메라와 방향 센서를 구비하고, 이로부터 전방의 깊이 정보 및 장치의 방향 정보를 측정하여, 연산된 전방의 보도 정보를 촉각 장치 등 출력 장치로 알려주는 시각 장애인을 위한 장애물 인식 장치을 제공하는 것이다.

또한, 본 발명의 목적은 깊이 카메라로부터 깊이 영상을 촬영하여 장애물의 위치 및 높이를 계산하되, 방향 센서에 의해 측정된 방향을 이용하여 장애물의 좌표를 보행자의 정면 방향으로 보정하는 시각 장애인을 위한 장애물 인식 장치을 제공하는 것이다.

또한, 본 발명의 목적은 깊이 카메라와 방향센서에 의해 측정되고 계산된 보도 정보를 높이의 높낮이를 포함하는 2차원의 촉각 정보로 출력하는 시각 장애인을 위한 장애물 인식 장치을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명은 시각 장애인을 위한 장애물 인식 장치에 관한 것으로서, 깊이 영상을 촬영하는 깊이 카메라; 상기 인식 장치의 방향을 센싱하는 방향 센서; 상기 깊이 영상과 상기 방향을 이용하여 장애물 위치 및 높이를 계산하는 연산부; 및, 상기 장애물 위치 및 높이를 출력하는 출력장치를 포함하고, 상기 연산부는 상기 깊이 영상의 픽셀의 좌표 및 상기 픽셀의 깊이를 이용해 카메라 좌표계에서의 상대 위치를 계산하고, 상기 방향을 이용하여 상기 카메라가 기울어져 변환된 상대 위치를 역 회전하여 상기 픽셀의 실제 위치 및 실제 높이를 계산하고, 상기 실제 높이가 소정의 높이 이상인 픽셀을 장애물로 판단하는 것을 특징으로 한다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 연산부는 상기 깊이 영상의 픽셀의 좌표 및 상기 픽셀의 깊이 값과 깊이 카메라의 화각을 이용해 카메라 좌표계에서의 픽셀의 상대 위치를 계산하고, 상기 상대 위치 및 깊이를 상기 방향의 반대로 회전하여 사람의 정면 방향의 좌표계에서의 실제 위치를 계산하고, 상기 실제 위치에서 상기 장애인을 위한 장애물 인식 장치의 사전에 정해진 높이 값을 더해주어 각 픽셀의 실제 높이를 계산하는 것을 특징으로 한다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 픽셀의 상대 위치(x,y,z)는 다음 수식 1을 이용하여 구하는 것을 특징으로 한다.

[수식 1]

단, d는 깊이 카메라에서 얻은 픽셀의 깊이 값이고, θ₁은 가로화각이고, θ₂는 세로화각이고, (x_p,y_p)는 픽셀의 좌표이다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 픽셀의 실제 위치(X,Y,Z)는 다음 수식 2를 이용하여 구하는 것을 특징으로 한다.

[수식 2]

단, (x,y,z)는 상기 계산한 상대 위치이고, θ_x는 x축을 중심으로 회전한 각도이고, θ_y는 y축을 중심으로 회전한 각도이다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 픽셀의 실제 높이 Height는 다음 수식 3을 이용하여 구하는 것을 특징으로 한다.

[수식 3]

단, Z는 상기 실제 위치의 z좌표이고, H는 깊이 카메라의 높이이다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 시각 장애인을 위한 장애물 인식 장치는 시각 장애인의 신체 또는 휠체어에 장착하여 사용되는 것을 특징으로 한다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 출력장치는 촉각장치인 것을 특징으로 한다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 촉각 장치는 점자로 표시하거나 높이 또는 모양이 변하거나 압력이나 진동을 주는 촉각 장치로 사용하는 것을 특징으로 한다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 출력장치는 음성 장치로 사용하는 것을 특징으로 한다.

또, 본 발명은 시각 장애인을 위한 장애물 인식 장치에 있어서, 상기 방향 센서는 자이로스코프 센서를 사용하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 시각 장애인을 위한 장애물 인식 장치에 의하면, 방향 센서에 의해 센싱된 방향으로 깊이 카메라의 깊이영상 좌표를 시각장애인의 정면으로 보정함으로써, 장애물의 위치 및 높이를 보다 정확하게 산출하여 시각장애인에게 알려줄 수 있는 효과가 얻어진다.

또한, 본 발명에 따른 시각 장애인을 위한 장애물 인식 장치에 의하면, 시각장애인에게 보도정보를 2차원 또는 3차원의 촉각 정보로 변환하여 알려줌으로써, 보도의 정보를 손바닥으로 인식하게 할 수 있고, 이를 통해, 정확하고 신속하게 보도 정보를 전달하고 안전하게 보행하게 할 수 있는 효과가 얻어진다.

도 1은 본 발명의 일실시예에 따른 시각 장애인을 위한 장애물 인식 장치의 구성에 대한 블록도.
도 2는 본 발명의 일실시예에 따라 장애물 인식 장치를 착용하는 예시도.
도 3은 본 발명의 일실시예에 따라 장애물 인식 장치에 의하여 보도 정보를 생성하는 방법을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 방향을 이용하여 깊이영상으로부터 실제 위치 및 높이를 산출하는 방법을 도시한 도면.
도 5는 본 발명의 일실시예에 따라 보도 영상의 예시도.
도 6은 본 발명의 일실시예에 따른 촉각 장치의 예시도.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 시각 장애인을 위한 장애물 인식 장치의 구성을 도 1을 참조하여 구체적으로 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 장애물 인식 장치는 깊이 카메라(11)와 방향센서(12)를 구비하여 장애물을 인식하는 본체(10), 및 인식된 장애물 등 보도정보를 2차원 형태로 출력하는 출력장치(20)로 구성된다.

본체(10)는 케이스(미도시)를 구비하고, 케이스 내에 깊이 카메라(11), 방향센서(12), 및, 연산부(13) 등을 설치하여, 휴대할 수 있는 전자기기로 구성된다. 따라서 배터리 등 전원 장치, 온/오프 작동 스위치 등 휴대용 전자기기에 통상 구성되는 구성요소들이 필요할 것이나, 이는 공지기술이므로 구체적 설명은 생략한다.

한편, 바람직하게는, 본체(10)는 보행자 또는 시각장애인이 휴대하거나, 벨트 등에 착용할 수 있도록 구성된다. 또한, 본체(10) 및, 출력장치(20)는 서로 분리가능한 장치로 구성되고, 본체(10)와 출력장치(20) 간에 데이터 통신이 가능한 라인으로 연결된다. 따라서 본체(10)는 보행자의 벨트 등에 착용되고, 출력장치(20)는 보행자의 손 또는 손바닥으로 쥐어질 수 있다.

특히, 본체(10)는 허리와 같이 보행시 상하 이동이 적은 곳에 착용되는 것이 바람직하다. 이렇게 착용함으로써, 본체(10)에 고정설치된 깊이 카메라(11)가 상하 이동이 적어질 수 있다. 도 2와 같이, 본체(10)는 보행자의 허리 부근에 착용되어, 보행자의 정면의 일정한 범위에 대한 보도 정보를 수집할 수 있다.

또한, 출력장치(20)는 촉각 장치로서 밴드 형태로 구성될 수 있다. 구체적으로, 출력장치(20)가 손이나 손바닥, 또는, 손목, 머리 등에 밴드 형태로 착용될 수 있도록 구성될 수 있다.

깊이카메라(11)는 카프리, 3D 스캐너, 키넥트 등과 같이 영상의 3차원 공간 정보를 수집할 수 있는 카메라를 말한다. 즉, 깊이 카메라(11)는 깊이 영상을 획득한다. 깊이 영상은 깊이값을 픽셀값으로 가지는 2차원 영상이다.

한편, 깊이카메라(11)는 본체(10)에 설치될 때 카메라의 렌즈 부분이 정면에서 약간 아래쪽으로 향하게 설치되는 것이 바람직하다. 더욱 바람직하게는, 깊이카메라(11)는 본체(10)의 수평축에서 아래로 0°에서 45°각도 이내를 향하도록 고정 설치된다. 깊이카메라(11)의 방향이 수평축과 나란히 고정되거나 위로 향하게 되면, 보행자의 발 아래에 있는 장애물을 인식하지 못할 수도 있다. 도 2에서 보는 바와 같이, 본 발명은 깊이카메라(11)를 약간 아래로 향하게 하여, 보행자의 발 아래에 있는 보도 블록 등 장애물을 보다 정확하게 인식할 수 있게 한다. 이를 통해, 본 발명은 시각장애인용 지팡이 역할을 대신할 수 있다.

방향센서(12)는 자이로스코프 센서 등 방향을 측정하는 센서로서, 통상, x축, y축, z축에서의 기울기 또는 방향을 측정할 수 있는 센서이다. 방향센서(12)는 본체(10)에 설치되어, 본체(10)의 방향 또는 기울기를 측정한다. 또한, 깊이카메라(11)가 본체에 고정되어 설치되므로, 방향센서(12)에 의해 측정되는 방향으로부터 깊이카메라(11)의 방향도 측정할 수 있다.

연산부(13)는 깊이카메라(11)로부터 획득된(촬영된) 깊이영상과, 방향센서(12)에 의해 측정된 방향을 입력받아, 장애물의 위치 및 높이를 표시한 보도 정보(또는 보도 영상)를 계산한다.

또한, 연산부(13)는 MCU와 같은 임베디드 프로세서, 또는, 마이크로프로세서로 구성되어 프로그램 또는 마이크로 프로그램에 의해 구동되는 IC칩으로 구성되거나, ASIC(주문형 반도체) 등 하나의 전자회로로 구성될 수 있다. 즉, 소프트웨어 형태, FPGA 칩이나 여러 개의 회로소자로 구성된 전자회로의 형태로 구성될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다.

연산부는 MCU와 같은 임베디드 프로세서 등을 이용해 깊이 카메라와 방향 센서에서 얻어온 정보들을 처리하여 보도의 실제 위치 및 높이를 계산하고 장애물을 인식하는 역할을 한다.

또한, 출력장치(20)는 보도 정보(또는 보도 영상)를 출력하는 장치로서, 촉각 장치 또는 음성 장치로 구성된다. 촉각 장치는 장애물의 높이를 축적에 맞게 축소화하여 촉각으로 알려주는 장치로 구성될 수 있다. 촉각 장치는 양자화 된 보도의 높이를 촉각 장치의 높이 또는 모양 변화나 점자를 이용해 알려준다. 촉각 장치로 구현된 출력장치(20)에 대하여 이하에서 보다 구체적으로 설명하기로 한다.

또한, 음성장치는 음성으로 장애물의 위치 및 크기를 알려주는 장치로 구성될 수 있다.

다음으로, 본 발명의 일실시예에 따라, 깊이 영상 및 방향으로부터 보도 영상을 산출하는 방법을 도 3을 참조하여 구체적으로 설명한다. 특히, 보도 영상 산출 방법은 연산부(13)에 의해 수행되는 방법이다.

도 3에서 보는 바와 같이, 본 발명에 따른 보도 영상을 산출하는 방법은 깊이 카메라의 높이 입력 단계(S10); 깊이 영상 및 방향 입력 단계(S20); 깊이 카메라 좌표계에서의 상대위치 계산 단계(S30); 방향을 이용한 실제 위치 계산 단계(S40); 장애물 실제 높이 계산 단계(S50); 및, 보도 정보 생성 단계(S60)로 구성된다.

먼저, 깊이 카메라의 높이를 입력받는다(S10).

도 2와 같이, 보행자 또는 시각장애인은 깊이 카메라(11)가 장착된 본체(10)를 허리 등에 착용한다. 이때 착용된 본체(10) 또는 깊이 카메라(11)의 높이 H, 즉, 지면으로부터의 높이 H를 입력받는다. 깊이 카메라의 높이 H는 사전에 정해져서 장애물 인식 장치(도는 연산부(13))에 저장된다. 또는 보행자에 의해, 깊이 카메라의 높이 또는 장애물 인식 장치의 높이(착용된 상태에서의 높이)가 직접 입력될 수 있다.

다음으로, 깊이 카메라(11) 및 방향센서(12)로부터 각각 깊이 영상 및, 방향을 입력받는다(S20). 즉, 깊이 카메라(11)로부터 깊이 영상을 입력받고, 방향 센서를 이용해 방향 또는 회전된 각도를 입력받는다.

도 4에서 보는 바와 같이, 깊이 영상은 깊이 카메라 좌표계에서 픽셀에 촬영된 물체와 깊이 카메라간의 y축 거리가 측정된다. 또한 회전 각도는 깊이 카메라의 위치에서 사람의 정면 방향의 좌표계를 중심으로 했을 때 x축 방향 회전, y축 방향 회전, z축 방향 회전의 세 가지 각도가 측정 된다. 이때 사람의 정면방향의 좌표계는 사람의 왼쪽을 +x축, 사람의 정면 방향을 +y축, 사람의 윗방향을 +z축으로 하고, 카메라가 장착된 위치를 (0,0,0)으로 정의 한다.

다음으로, 깊이 카메라 좌표계에서의 상대 위치를 계산한다(S30). 깊이 카메라 좌표계에서의 상대 위치 계산 단계(S30)는 깊이 카메라 좌표계에서 촬영된 픽셀에 대해 상대 위치를 계산하는 단계이다.

깊이 카메라의 구동원리는 도 4와 같다. θ₁은 깊이 카메라의 가로 화각, θ₂는 깊이 카메라의 세로 화각이고, d₁ 과 d₂ 는 물체와의 거리를 나타낸다. 화각은 카메라가 렌즈를 통해서 이미지를 담을 수 있는 각도를 말한다. 깊이 카메라는 화각 안에 있는 물체들의 깊이 값을 구해준다. 깊이 카메라의 정해진 화각과 촬영된 깊이 값을 이용하면 화면의 끝에 있는 물체의 상대 위치를 구할 수 있다.

예를 들어 A지점과 카메라 사이의 y축 방향의 거리는 깊이 카메라에서 측정된 d₁ 이 될 것이고, x축 방향의 위치는 d₁×tan(θ₁/2)이 될 것이다. 또한 z축 방향의 위치는 d₁×tan(θ₂/2)가 된다. 이를 이용하여 A 지점의 상대 위치를 나타내면 (d₁×tan(θ₁/2), d₁, d₁×tan(θ₂/2))이 된다.

화면의 중간에 있는 물체들의 깊이는 비례식을 이용해 상대 위치를 구할 수 있다. 깊이 카메라를 이용해 측정된 물체는 정해진 해상도에 맞게 축소 또는 확대되어 이미지로 표시된다.

이미지의 너비가 w, 높이가 h라고 한다면 이미지에 출력된 깊이 값을 가지고 물체와 카메라 사이의 상대 위치를 계산할 수 있다. 도 5와 같이 화면의 중심을 (0,0)이라 했을 때, (x,y) 지점의 픽셀의 깊이 값이 d라고 한다면, 깊이 카메라 좌표계에서 y축 방향의 위치는 d가 된다.

또한, 픽셀의 x좌표가 w/2일 때 x축 방향의 위치가 d₁×tan(θ₁/2)이므로, 비례식을 이용하면 x지점에서의 x축 방향의 위치는 다음과 같은 수학식으로 표시된다.

[수학식 1]

같은 방법으로 z축 방향의 위치는 다음 수학식으로 표시된다.

[수학식 2]

즉, 임의의 픽셀 위치 (x,y)에서 깊이 값이 d라고 한다면, 상대 위치는 다음과 같이 표시된다.

[수학식 3]

상기 수학식들을 이용해 깊이 카메라 좌표계에서 픽셀의 상대 위치를 구할 수 있다.

다음으로, 방향을 이용하여 실제 위치를 계산한다(S40). 회전 각도(또는 방향)를 이용한 실제 위치 계산 단계(S40)는 방향 센서로부터 측정된 회전된 각도를 통해 깊이 상기 측정된 상대 위치를 사람의 정면 방향의 좌표계의 실제 위치로 변환하는 단계이다.

도 2에서 보는 바와 같이, 깊이 카메라는 보도를 촬영하기 위해 바닥을 향해 비스듬히 장착해야 한다. 하지만 초기 장착 시 카메라의 각도를 구하는 것이 쉽지 않고, 사람의 움직임에 의해 카메라의 각도가 변하므로 이에 대한 각도는 방향 센서를 이용해 매번 측정해 주어야 한다.

상기 계산한 상대 위치가 (x,y,z)라고 한다면 이는 카메라 좌표계에서의 상대 위치이다. 따라서 사람의 정면 방향의 좌표계로 변환해 주어야 한다. 만약 깊이 카메라가 (θ_x,θ_y,θ_z)만큼 회전되어 있다면, θ_z는 사람이 서 있는 상태에서 회전한 방향이므로 의미가 없다. 따라서, θ_x, θ_y 에 대해서만 역회전 하여 사람과의 실제 위치를 측정해야 한다.

각도 (θ_x,θ_y,θ_z)에 대한 역회전 행렬은 다음과 같다.

[수학식 4]

각 행렬을 상기 상대 위치로 구성된 x, y, z 행렬에 곱하게 되면, 다음 수학식과 같이, 사람의 정면 방향의 좌표계에서의 실제 위치 (X,Y,Z)가 구해진다.

[수학식 5]

다음으로, 장애물의 실제 위치를 계산한다(S50). 실제 높이 변환 계산 단계(S40)는 앞에서 구한 실제 위치와 깊이 카메라의 높이 H를 통해 시각 장애인이 서있는 지면으로부터의 높이를 측정하는 단계이다. 상기 구한 실제 위치는 깊이 카메라 높이에서에 존재하는 좌표계를 중심으로 한 위치이므로 상기 구한 실제 위치 중 Z에 깊이 카메라의 높이 H를 더해주어 실제 높이 값을 구하게 된다.

다음으로, 출력장치로 출력할 보도 정보를 생성한다(S60).

보도 정보를 생성하는 단계(S60)는 장애물 인식 및 보도 데이터 변환 단계로서, 상기 측정한 보도의 높이 값을 이용해 장애물의 유무를 판단하고, 출력장치에서 출력할 데이터로 가공하는 단계이다.

일례로, 출력장치(20)로 촉각 장치를 사용하였다. 연산부(13)에서 계산한 보도의 실제 위치 및 높이는 시각 장애인과의 x, y축 방향의 실측 거리이다. 또한, 시각 장애인이 서있는 지면으로부터의 높이이므로 이를 축척에 맞게 축소한 후 양자화 하여 표시해 주어야 한다.

깊이 카메라에서 측정한 픽셀들의 수에 비해 촉각 표시 장치의 표시 셀의 수가 부족할 경우에는 한 셀에 여러 픽셀 값을 이용해 샘플링하고 높이 값을 양자화 하여 표시할 수 있다. 이때 샘플링 방법은 촉각 장치에서 표시할 수 있는 범위 안에 있는 물체들 중 각 물체의 위치에 대해 여러 픽셀의 평균값을 취하거나 최대값을 취한다.

높이 값에 대한 양자화는 깊이 카메라로 측정된 높이들에 대해 사람이 높이 변화를 판단할 수 있는 높이 단계로 나누어 대표 높이로 표시할 수 있다. 또한 여러 픽셀들이 실제 위치 x, y좌표가 같고 물체의 높이가 다른 값들이 측정될 수 있다. 이럴 땐 가장 높게 측정된 높이를 대표 높이 값으로 선정한다.

다음으로, 본 발명의 일실시예에 따른 출력장치를 도 6을 참조하여 구체적으로 설명한다.

출력장치(20)는 인식한 장애물의 얻어온 장애물의 위치 및 높이 정보를 출력하는 역할을 한다. 출력 장치의 종류로는 장애물의 높이를 축적에 맞게 축소화하여 촉각으로 알려주는 촉각 장치와 음성으로 장애물의 위치 및 크기를 알려주는 음성장치 등이 있다.

도 6에서 보는 바와 같이, 촉각 장치는 양자화 된 보도의 높이를 촉각 장치의 높이 또는 모양 변화나 점자를 이용해 알려주게 된다.

도 6(a)에서 중앙 아래 파란색 점(A)은 현재 사람의 위치를 나타내는 점으로 볼록하게 나와 있다. 현재 위치 점을 기준으로 보도를 미니 맵과 같이 축적 비율로 조정하여 촉각장치를 구성한다. 촉각장치는 도 2와 같이 허리 옆에 장착하고 손바닥을 이용해 정보를 얻는다.

촉각 장치(20)는 도 6의 (a), (c), (d)와 같이, 다양한 형태로 구성될 수 있다.

도 6(a)에 도시된 촉각 장치는 센서의 높이를 변화시켜주어 보도의 높이를 표현하는 방식이다. 이는 높이가 높은 곳은 손으로 느끼기 쉬우나 낮은 곳은 느끼지 못할 가능성이 있다.

도 6(b)는 도 6(a)의 촉각 장치의 사용 예시한 것으로서, 손바닥을 촉각장치에 덮어서 촉각을 느끼며 보도 정보를 얻는 방식이다. 손바닥이 작아 모든 촉각 정보를 느끼지 못해도 정면 정보만을 얻을 수 있으면 도보에 문제가 없을 것이다.

도 6(c)에 도시된 촉각 장치는 높이가 낮은 곳과 높은 곳을 나타내는 촉각 정보를 다르게 줌으로써 도 6(a)의 촉각 장치보다 높이가 낮은 곳을 더 쉽게 알 수 있도록 도와준다.

또한, 도 6(d)의 촉각 장치는 시각장애인들을 위한 점자를 이용해 보도의 높이를 알려주는 방식이다. 점자를 이용해 높이를 알려주어 시각장애인들이 쉽게 보도를 이해할 수 있게 도와준다.

또한, 출력장치는 촉각장치 외의 음성장치 등과 같이 다른 방식으로 시각장애인들에게 보도 정보를 알려줄 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 본체 11 : 깊이카메라
12 : 방향센서 13 : 연산부
20 : 출력장치

Claims (10)

1. 시각 장애인을 위한 장애물 인식 장치에 있어서,
   깊이 영상을 촬영하는 깊이 카메라;
   상기 인식 장치의 방향을 센싱하는 방향 센서;
   상기 깊이 영상과 상기 방향을 이용하여 장애물 위치 및 높이를 계산하는 연산부; 및,
   상기 장애물 위치 및 높이를 출력하는 출력장치를 포함하고,
   상기 연산부는 상기 깊이 영상의 픽셀의 좌표 및 상기 픽셀의 깊이를 이용해 카메라 좌표계에서의 상대 위치를 계산하고, 상기 방향을 이용하여 상기 카메라가 기울어져 변환된 상대 위치를 역 회전하여 상기 픽셀의 실제 위치 및 실제 높이를 계산하고,
   상기 실제 높이가 소정의 높이 이상인 픽셀을 장애물로 판단하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   
2. 청구항 1에 있어서,
   상기 연산부는 상기 깊이 영상의 픽셀의 좌표 및 상기 픽셀의 깊이 값과 깊이 카메라의 화각을 이용해 카메라 좌표계에서의 픽셀의 상대 위치를 계산하고,
   상기 상대 위치 및 깊이를 상기 방향의 반대로 회전하여 사람의 정면 방향의 좌표계에서의 실제 위치를 계산하고,
   상기 실제 위치에서 상기 장애인을 위한 장애물 인식 장치의 사전에 정해진 높이 값을 더해주어 각 픽셀의 실제 높이를 계산하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   
3. 청구항 2에 있어서,
   상기 픽셀의 상대 위치(x,y,z)는 다음 수식 1을 이용하여 구하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   [수식 1]
   

   

   
   단, d는 깊이 카메라에서 얻은 픽셀의 깊이 값이고, θ₁은 가로화각이고, θ₂는 세로화각이고, (x_p,y_p)는 픽셀의 좌표이다.
4. 청구항 2에 있어서,
   상기 픽셀의 실제 위치(X,Y,Z)는 다음 수식 2를 이용하여 구하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   [수식 2]
   

   

   
   단, (x,y,z)는 상기 계산한 상대 위치이고, θ_x는 x축을 중심으로 회전한 각도이고, θ_y는 y축을 중심으로 회전한 각도이다.
   
5. 청구항 2에 있어서,
   상기 픽셀의 실제 높이 Height는 다음 수식 3을 이용하여 구하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   [수식 3]
   

   

   
   단, Z는 상기 실제 위치의 z좌표이고, H는 깊이 카메라의 높이이다.
   
6. 청구항 1에 있어서,
   상기 시각 장애인을 위한 장애물 인식 장치는 시각 장애인의 신체 또는 휠체어에 장착하여 사용되는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   
7. 청구항 1에 있어서,
   상기 출력장치는 촉각장치인 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   
8. 청구항 7에 있어서,
   상기 촉각 장치는 점자로 표시하거나 높이 또는 모양이 변하거나 압력이나 진동을 주는 촉각 장치로 사용하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   
9. 청구항 1에 있어서,
   상기 출력장치는 음성 장치로 사용하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
   
10. 청구항 1에 있어서,
    상기 방향 센서는 자이로스코프 센서를 사용하는 것을 특징으로 하는 시각 장애인을 위한 장애물 인식 장치.
    

Images