KR20110118965A - 시선 인식을 이용한 자율주행 휠체어 시스템 - Google Patents

Abstract

본 발명은 시선 인식을 이용한 자율주행 휠체어 시스템에 관한 것으로서, 휠체어에 있어서 적외선 필터가 장착된 카메라를 통해 검출된 눈의 동공 중심과 반사점을 이용하여 시선으로 명령을 하달하여 인터페이스를 통해 휠체어를 조정할 수 있도록 하는 것으로 시선 인식기, 자율 주행 모듈, 센서 제어 보드, 모터 제어 보드로 구성하고 시선 인식기는 사용자의 명령을 인식하고, 이를 모터 제어보드를 통해 휠체어를 조종한다. 또한 초음파 센서들에 의해 감지된 장애물 정보는 센서 제어 보드로 전달되고, 센서 제어 보드는 이 정보를 자율 주행 모듈로 전달하여 자율 주행 모듈은 장애물을 감지하고 이를 피하기 위해 모터 제어 보드로 명령을 전달함으로서 자율 주행 모듈에서 받은 명령어를 본 발명 시스템이 구성된 휠체어에 전달하고 이 명령에 따라 구동하는 시선 인식을 이용한 자율주행 휠체어 시스템에 관한 것이다.

Description

시선 인식을 이용한 자율주행 휠체어 시스템{Autonomous Wheelchair System Using Gaze Recognition}

본 발명은 장애우를 위한 휠체어에 관한 것으로, 보다 상세하게는 시선 인식을 이용하여 사용자의 명령을 전달 받고, 거리 센서들에 의해 감지된 거리 정보를 통해 주행 중에 장애물을 회피할 수 있는 지능형 휠체어 시스템에 관한 것으로서 사용자의 편의와 안전을 위해 효과적으로 시선을 인식하고 장애물 회피갈 수 있는 시선 인식을 이용한 자율주행 휠체어 시스템에 관한 것이다.

휠체어는 보행이 어려운 자들이 사용하는 것으로 자립 보행이 불가능한 경우 일반적으로 수동 휠체어를 사용하여 생활을 하고 있다. 하지만 중증 장애인과 고령자의 경우 보행 기능의 퇴화와 더불어서 팔 기능 역시 퇴화되어 수동 휠체어를 사용키 어렵워 이러한 경우의 해결 방안으로 전동 휠체어를 사용한다. 그러나 상당수의 사용자들이 전동 휠체어의 조작에 있어 많은 어려움을 느끼고 조작 미숙으로 인한 사고 역시 많이 발생하고 있다.

따라서 조작 미숙으로 인한 사고를 방지하기 위해 센서들을 이용한 충돌 및 사고 방지 시스템과 조이스틱을 이용한 제어 방법 뿐 만아니라 장애인들과 고령자의 신체능력에 맞는 다양한 형태의 기술이 개발되고 있다.

최근에는 일반적인 전동 휠체어에 카메라 및 여러 가지 센서와 컴퓨터를 부착하여 사용자의 부족한 신체 기능을 대신 할 수 있는 인터페이스와 자동 장애물 감지 및 회피 기능 등을 통합한 지능형 휠체어에 관한 연구 개발이 이루어지고 있다.

인터페이스의 경우 사용자의 음성을 이용한 인터페이스와 사용자의 신체를 이용한 인터페이스, 생체 신호를 이용한 인터페이스로 나누어지는데 사용자 음성을 이용한 방식의 경우 주변 환경에서 설정 된 음성 명령어가 존재하지 않고 시끄러운 소리가 없어야 한다는 제약이 있고, 사용자의 신체를 이용한 인터페이스의 경우 압력 센서 등을 이용한 상체의 위치에 따른 방식과 얼굴의 방향을 이용한 방식의 경우 목이나 척추를 사용자 마음대로 움직일 수 있어야 한다는 제약이 있다. 그리고 생체 신호를 이용한 인터페이스의 경우는 근육의 운동에서 생기는 근전신호(EMG), 안구 근육의 운동에 관계되는 안전신호(EOG), 뇌파(EEG)가 있다. 그러나 현실적으로 생체신호의 이용은 안정도나 검출력에 문제점이 많아서 실시간으로 명령을 내려야 하는 인터페이스의 오작동 발생 가능성이 높기 때문에 사용에 있어 안전성에 문제가 생길 가능성이 높다.

살펴본 바와 같이 기존의 인터페이스의 경우 휠체어를 사용하는 사람이라 하더라도 중증 장애인이 아닌 비교적 인터페이스를 사용하기 쉬운 사람들이 사용할 수 있도록 제작되어 왔다. 하지만 실제로 이러한 인터페이스가 적용된 휠체어를 타는 사용자의 경우 중증 장애인인 경우가 많은데 그 사용자들이 사용하기에는 기존의 인터페이스처럼 제한이 있는 방식은 사용하기에 적합하지 않다.

따라서 중증 장애인을 위한 안전성 및 작동의 편리성이 높은 지능형 훨체어 시스템의 개발이 절실히 필요한 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명에서는 중증 장애인을 위해 눈의 움직임만으로 휠체어를 움직일 수 있도록 하고, 안전성을 높이기 위하여 초음파 센서를 이용하여 장애물을 감지하고 회피하도록 시스템을 구성한다. 즉, 카메라로부터 눈 이미지를 획득하여 시선을 인식하여 명령을 전달하는 시선 인식 인터페이스, 주변의 장애물을 감지하는 초음파 센서 모듈, 전동휠체어의 모터를 제어하기 위한 모터 제어 모듈과 장애물 감지 시 장애물을 회피하여 움직일 수 있게 도와주는 자율 주행 모듈로 시스템을 구성하여 중증장애인의 훨체어 조작에 있어 안정성과 제어의 편이성을 높이는 것을 발명의 과제로서 창안하고자 하였다.

상기 목적을 달성하기 위하여 본 발명은,

적외선 필터가 장착된 카메라를 통해 검출된 눈의 동공 중심과 반사점을 이용하여 시선에 의해 인식되고, 이는 사용자 인터페이스를 통해 휠체어를 조정할 수 있도록 하고. 이때 10개의 초음파센서를 이용하여 장애물을 감지함과 동시에 목표지점까지 장애물과의 충돌을 피하도록 한다. 시스템은 시선 인식기, 자율 주행 모듈, 센서 제어 보드, 모터 제어 보드로 구성하고 시선 인식기는 사용자의 명령을 인식하고, 이를 모터 제어보드를 통해 휠체어를 조종한다. 그 후에 초음파 센서들에 의해 감지된 장애물 정보는 센서 제어 보드로 전달되고, 센서 제어 보드는 이 정보를 자율 주행 모듈로 전달한다. 자율 주행 모듈은 장애물을 감지하고 이를 피하기 위해 모터 제어 보드로 명령을 전달한다. 모터제어보드는 자율 주행 모듈에서 받은 명령어를 지능형 휠체어에 전달하고 지능형 휠체어는 이 명령에 따라 작동하도록 구성하여 그 기술적 과제를 해결하고자 하였다.

본 발명에 따른 방수손전등에 의하면, 시선 인식을 이용한 인터페이스로 휠체어를 제어하고, 자율 주행 모듈을 이용하여 주행 중 발생할 수 있는 위험한 상황으로부터 안전성을 확보할 수 있으며, 적외선필터를 사용하여 조명이나 빛의 영향을 받지 않고 시선인식을 할 수 있으며, 초음파센서를 이용한 자율주행으로 주행 중 발생할 수 있는 위험사항으로부터 사용자를 안전하게 보호해 줄 수 있는 등 눈동자의 움직임만으로도 휠체어를 제어할 수 있기 때문에, 척추뿐만 아니라 목이나 입 등을 자유롭게 움직이기 힘든 중증 장애인에게 새로운 생활환경을 제공 할 수 있는 그 효과가 큰 발명이다.

도 1은 본 발명의 시선인식과정을 보여주는 구성도
도 2는 본 발명의 동공검출과정을 보여주는 참고도
도 3은 본 발명의 반사점검출과정을 보여주는 참고도
도 4는 본 발명의 시선인식검출에 따른 명령어를 보여주는 참고도
도 5는 본 발명 시스템이 구성된 휠체어의 제어구성도
도 6은 본 발명의 초음파센서를 보여주는 참고도
도 7은 본 발명인 초음파센서의 빔 범위를 보여주는 참고도
도 8은 본 발명인 초음파센서의 배열을 보여주는 참고도
도 9는 본 발명의 초음파센서의 부착위치를 보여주는 참고도
도 10은 본 발명의 센서 제어 보드를 보여주는 구성도
도 11은 본 발명의 모터 제어 보드를 보여주는 구성도
도 12는 본 발명의 자율 주행 모듈 상태 전이도
도 13은 본 발명의 시스템이 구성된 휠체어를 보여주는 구성도
도 14는 본 발명의 시선 인식 테스트를 보여 주는 참고도
도 15는 본 발명의 통합 테스트의 환경을 보여 주는 참고도

첨부되는 도 1내지 15를 참고하여 발명의 바람직한 구성과 작용에 대하여 설명하면 다음과 같다.

우선 본 발명의 구성을 살펴보면,

1. 시선 인식 인터페이스

도 1의 과정을 참고하여 설명하면 휠체어를 제어하기 위해 제안된 시선 인식을 이용한 인터페이스는 한 대의 적외선 필터가 장착된 카메라와 2개의 광원(IR LED집합)을 이용하여 먼저 동공을 검출하여 중심점을 구하고, 그 중심점을 이용하여 반사점이 있을만한 영역을 지정 한 후 반사점들의 중심점을 검출한다. 구해진 중심점들의 관계로 현재 시선이 향하는 방향을 인식하고 그 방향에 해당하는 명령어를 모터 제어 모듈로 전달하여 휠체어를 제어하게 된다.

가.동공 검출

카메라로 부터 현재 프레임 이미지를 얻는다. 본 발명에서의 시선을 이용한 작동을 위하여서 필요한 정보는 동공과 두 반사점이다. 따라서 전처리 과정으로 먼저 입력 이미지를 도 2의 (a)처럼 그레이 이미지로 변환한 후 모폴로지(morphology) 알고리즘을 이용하여 잡음을 제거한다. 모폴로지는 영상 내 객체의 형태적인 면을 표현 또는 서술하는 관계로, 영상의 전처리 작업인 객체를 뚜렷이 하는 데에 이용한다. 모폴로지 알고리즘은 배경과 객체에 중심을 둔다면 배경 확장과 객체를 축소시키는 ‘침식 연산’, 배경 축소와 객체 확장 시키는 ‘팽창 연산’, 미세한 잡을을 제거하는 ‘열림 연산’, 객체내의 빈 공간을 메워주는 ‘닫힘 연산’으로 구성되나 본 발명에서는 잡을을 제거하기 위해 ‘열림 연산’을 이용하였다.

전처리 과정을 거친 이미지를 실험을 통해 얻어진 동공에 해당하는 임계값으로 이진화하여 도2(b)와 같은 이진화이미지를 얻는다. 이진화이미지에서 각각의 객체를 구분하기 위해 라벨링(Labeling) 알고리즘을 이용하여 도2(c)와 같이 객체들을 나타낸다. 라벨링이란 인접하여 연결되어 있는 모든 화소에 동일한 번호를 붙이고 다른 연결 성분에는 또 다른 번호를 붙여 각각의 객체를 분리하는 것으로 이렇게 찾은 객체는 동공 후보 영역으로 분류 된다. 동공 후보 영역이라는 것은 라벨을 메긴 객체들을 말하는데 이 객체들은 머리카락과 동공, 콧구멍, 기타 잡음이다. 우리는 이 중에서 동공 영역이 필요하기 때문에 각 영역들 중에서 최종 동공 영역을 찾아야 한다. 이때 Fitting of Ellipses 알고리즘과 사이즈 필터링 알고리즘을 사용한다. 우선 Fitting of Ellipses 알고리즘을 이용하여 동그란 모양의 후보 영역을 찾고 그 외의 후보 영역은 제거 한다. 다음으로 사이즈 필터링 알고리즘을 이용하여 남은 동공 후보 영역 중 머리카락의 경우 동공에 비해서 매우 큰 영역을 차지하기 때문에 사이즈 필터링으로 동공 후보 영역 중 큰 후보 영역을 제거함으로써 머리카락 부분을 제거 할 수 있고, 기타 잡음의 경우는 머리카락 부분과는 반대로 동공에 비해 작은 부분을 차지하므로 동공의 크기에 비해 작은 후보 영역을 제거하게 되면 기타 잡음을 제거 할 수 있다. 마지막으로 남은 후보 영역들은 동공과 콧구멍 부분인데, 콧구멍의 경우 동공의 위치보다 낮은 위치에 존재하므로 남은 후보 영역들의 중심 값의 y값 중에서 가장 위에 위치한 후보 영역을 최종적으로 동공영역이라고 결정한다. 이렇게 찾은 동공 영역으로 도2 (d)와 같이 외곽 영역과 중심점을 검출하는 것이다.

나. 반사점 검출

상기와 같이 전처리 과정을 거친 이미지를 검출된 동공의 중심점을 기준으로 도 3(a)와 같이 반사점이 있을 영역을 설정하고, 그 영역을 도3(b)와 같이 측정을 통해 얻어진 임계값으로 이진화 시킨다.

얻어진 이진화 이미지의 경우 반사점이 너무 작아서 구분하기 힘들기 때문에 가우시안 피라미드 분해를 통해 업-샘플을 사용한다. 여기에 Canny Edge를 이용해서 경계점을 검출하고, 도3(c)와 같이 라벨링을 해서 각 영역들을 구분하게 된다. 이때 역시 사이즈필터링을 사용하여 반사점 크기가 될 수 없는 크기의 영역은 제거하게 된다. 이렇게 해서 찾은 반사점 후보 영역들 중에서 동공 중심점과의 거리가 가장 가까운 두 개의 영역을 도3(d)와 같이 반사점으로 최종 선택하고 두 반사점의 중심점을 검출한다.

다. 동공의 위치에 따른 명령어

두 반사점들의 중심점은 항상 고정된 눈의 위치에서 검출이 되기 때문에 앞에서 검출한 두 반사점들의 중심점은 고정되어 있고 동공을 움직임으로써 현재 시선 방향을 결정하게 된다. 동공의 중심점과 두 반사점의 중심점을 찾아 세 점들의 관계를 이용하여 시선인식을 하고 명령어를 전달하게 된다. 두 반사점들은 일정한 위치에 존재하게 되므로 동공의 위치에 따라 명령어를 다르게 전달하게 된다. 따라서 본 발명에서는 복잡한 카메라 캘리브레이션 과정이 필요로 하지 않는 것이다. 도 4에서 도시된 바와 같이 두 반사점은 항상 일정한 간격으로 일정한 위치에 존재하며, 눈의 움직임에 따른 동공의 위치만 찾게 되면 된다. 또한 사용자의 머리가 움직일 때도 두 반사점의 위치는 항상 일정하므로 측정에 영향을 주지 않는다. 즉 이러한 방법은 항상 고정된 두 반사점이 있기 때문에 머리 움직임에 상관없이 현재 시선이 향하는 방향을 검출할 수 있다. 본 발명에서 구현한 전동휠체어의 사용가능한 9개의 명령어는 아래의 표1과 같다.

<표 1. 명령어의 정의>

2. 자율주행

도5에 도시된 바와 같이 본 발명에서는 휠체어를 제어하기 위한 시선인식과 자율주행이 있다.

먼저 시선인식으로 명령어를 내리면 이를 모터제어보드를 통해 휠체어를 조종하게 된다. 그 후에 초음파 센서들에 의해 감지된 장애물 정보는 센서 제어 보드로 전달되고, 센서 제어 보드는 이 정보를 자율 주행 모듈로 전달한다. 자율 주행 모듈은 초음파센서를 이용하여 장애물이 있는지를 판단하고 장애물을 회피하도록 모터 제어 보드로 명령을 전달한다. 모터제어보드는 자율 주행 모듈에서 받은 명령어를 본 발명의 시스템이 적용된 휠체어에 전달하고 휠체어는 이 명령에 따라 움직이게 되는 것이다.

가. 초음파센서

초음파란 일반적으로 인간의 귀에 들리지 않는 높은 주파수의 음(약 14kHz 이상)을 통칭하나 인간의 귀로 듣는 것을 목적으로 하지 않는 공업분야에 적용하는 가청음도 초음파라고 부르기도 한다. 따라서 초음파 센서란 “음향 에너지 중에서 비교적 주파수가 높은 영역에서 검출하기 위한 센서로서 20kHz 이상의 음향 에너지를 검출하는 소자” 라고 정의 할 수 있으며 이 종류의 센서 엘리먼트는 압전의 정효과 및 부효과를 동시에 이용하는 압전 세라믹 소자를 이용하는 경우가 많다. 초음파 센서에 적용되는 주파수는 그 사용 용도에 따라 결정되는 것이 원칙이나 일반적으로 공기 중 물체 감지에 적용되는 초음파 센서에서 사용되는 주파수는 9kHz에서부터 50kHz 정도이며 이 범위의 주파수는 강력한 초음파 펄스를 발생하기 쉽고 지향특성을 얻기가 용이하기 때문이다.

초음파 센서는 음파의 메아리 현상을 이용한 것으로 음파를 발생시키는 Emitter부분이 있어 음파가 되돌아온 시간차를 분석하여 물체의 유무를 감지하게 된다. 초음파 센서의 거리 측정 원리는 초음파 센서에서 발사된 초음파 펄스가 피 측정물의 표면에서 반사되어 다시 초음파 센서로 되돌아 올 때까지의 시간을 측정하여 측정 대상에 따른 정보를 얻는 방법을 사용한다. 즉 초음파를 송신 후 되돌아 올 때까지의 지연시간을 측정하고 공기 중에서 초음파의 온도에 따른 음속을 보상하여 거리를 산출하는 방법을 사용한다.

본 발명에의 초음파센서는 Devantech사의 SRF10을 사용하였으며 측정범위는 6cm ~ 600cm 까지 거리 측정이 가능하다. SRF10은 I2C bus방식으로 통신을 하고, 각 센서에 사용자가 (E0, E2, E4, E6, E8, EA, EC, EE, F0, F2, F4, F8, FA, FC, FE)16개의 address 중에서 선택하여 바꿀 수 있다. 제안된 시스템에서는 E0 ~ F2까지 10개의 초음파 센서를 사용하였다. 도6은 초음파센서 SRF10모듈과 빔의 범위를 나타낸다.

본 발명에서의 초음파센서의 빔 각도는 72°이다. 한 센서에서 얻어진 초음파 정보만을 이용할 경우 초음파 센서의 넓은 각도 정보로 인해 측정된 장애물의 위치가 초음파 빔의 어느 지점인지 정확히 알 수 없게 된다. 도7은 초음파 센서의 빔의 범위를 나타낸 것으로 초음파센서가 단순히 거리의 값만을 나타내기 때문에 장애물이 A, B, C중 정확히 어디에 있는지는 알 수가 없다.

따라서 본 발명에서는 초음파센서를 도8에서처럼 초음파센서 3개를 48°씩 중첩되게 겹쳐서 설치하여 24°씩의 5섹터로 나누어 측정하여 장애물의 위치를 보다 정확하게 찾을 수 있게 된다. 좌, 우측면도 같은 방법으로 하여 앞쪽 5섹터와 겹쳐 총 18섹터로 만들어 보다 정확하게 장애물의 위치를 파악 할 수 있게 하였다.

초음파센서는 5ms 마다 측정하여 10개의 초음파센서를 1번 측정할 때 걸리는 시간은 50ms이고(1초에 20번 측정). 도9는 본 발명의 시스템이 적용된 휠체어의 초음파센서들의 부착위치를 나타낸 것이다. 도시된 바와 같이 정면을 향해 3개, 좌, 우측 3개씩, 뒤쪽 1개 총 10개의 초음파센서를 구성하였으며 아래의 표2는 각 센서들의 부착 위치에 따른 센서들의 이름을 임의로 정의 한 것이다.

나.센서 제어 보드

도 10에 참고로 설명하면 센서 제어 보드의 마이크로 컨트롤러는 ATMEL사의 ATmega128모듈을 사용하였다. ATmega128 마이크로 컨트롤러는 저가이면서 고속인 유사 RISC 칩으로써, CMOS 형태로 이루어진 8bit 마이크로 컨트롤러이다. 센서 제어 보드는 10개의 초음파센서의 거리 측정값을 받아 자율 주행 모듈로 전송하는 역할을 한다. 초음파센서와 ATmega128사이의 통신은 근거리용 표준 직렬통신 방식인 I2C bus방식이다. 이것은 2선식 직렬통신 방식으로 항상 마스터(master)와 슬레이브(slave) 사이에서 직렬로 데이터를 송수신할 수 있다. 여기서 마스터는 ATmega128이되고 초음파센서들은 슬레이브가 된다. 초음파센서들은 각각의 주소가 있어 마스터에서 각 주소마다 데이터를 전송하면 슬레이브인 초음파센서에서 데이터를 받고 다시 마스터로 거리 값을 전달해 준다. 거리 값을 받은 ATmega128은 블루투스 통신을 통해 인터페이스 프로그램으로 거리 값을 전달해준다. 전달받은 인터페이스 프로그램의 자율주행 모듈에서는 각각의 센서 값들을 받아서 모터제어보드로 휠체어를 움직일 수 있도록 명령어를 전달하게 된다.

다. 모터 제어 보드

모터제어보드로는 사용자의 시선을 인식하여 휠체어의 움직임으로 전환하는 역할을 하며, 센서의 값에 따른 휠체어의 정지, 방향전환 등을 수행하는 역할을 한다. 모터제어보드는 SDQ-DA04EX 보드를 사용하였다. SDQ-DA04EX 보드는 디지털신호를 아날로그신호로 바꾸어주는 역할을 한다.

사용자는 시선으로 정의된 명령어 중 하나를 선택하면 그 명령어에 해당하는 디지털신호를 모터를 움직이기 위한 아날로그신호(전압 값)로 변환시켜 휠체어로 전달되고 전동휠체어를 움직이게 된다. 그리고 자율 주행 모듈이 센서 제어 보드로부터 거리 측정값을 받아 명령어를 전달하면 명령어에 해당하는 전압 값으로 변환하여 휠체어를 움직이게 한다.

도11은 본 발명의 모터제어보드로서 휠체어의 조이스틱의 경우 가변저항을 사용하여 각각의 전압 값에 따라 모터를 움직이게 된다. 모터제어보드를 조이스틱과 연결하여 컨트롤시스템(비전, 센서)에서 디지털 값을 보내주면 모터제어보드는 디지털 값에 해당하는 전압 값으로 변환시켜 모터를 움직이게 한다.

하기의 표3은 각각의 명령에 대한 전압 값을 나타낸 것이다.

라. 자율 주행 모듈

상기 기술한 바와 같이 자율 주행에 관련된 구성요소들의 작동을 설명하면,

시선 인식 인터페이스로 명령어를 전달하면 자율 주행 모듈이 동작하게 되는데 자율 주행 모듈은 도12와 같이 4가지로 구동한다. 초기상태는 항상 STOP 상태를 유지하고, 시선 인식 인터페이스에서 동공과 두 반사점을 찾아 시선인식으로 GO라는 명령어를 전달하면 상태는 GO상태로 바뀌면서 전동휠체어가 앞으로 이동 하게 된다. GO상태일 때 장애물을 감지하게 되면 장애물의 위치에 따라 자동으로 GO_L, GO_R, STOP 상태로 바뀌게 된다.

이때 초음파 센서 FC의 거리 값이 50cm 이하이면 먼저 FL 과 FR을 비교하고 LC, LL, LR의 평균값과 RC, RL, RR의 평균값을 비교하여 GO_L상태로 갈 것인지 GO_R상태로 갈 것인지 결정하게 된다. FC의 거리 값이 30cm 이하이면 STOP 상태로 바뀌어 전동 휠체어는 멈추게 되는 것이다.

본 발명시스템의 전동 휠체어가 멈추면 다시 초기 상태가 되면서 명령어를 기다린다. GO_L상태 일 때는 FC의 거리 값이 50cm 이상이 되면 GO 상태로 바뀌어 앞으로 간다. LR의 거리 값이 50cm 이하이면 GO_R 상태로 바뀌어 전진하면서 오른쪽으로 돈다. 그리고 LR의 거리 값이 30cm 이하이면 STOP 상태로 바뀌어 전동 휠체어는 멈추게 된다. GO_R상태 일 때는 FC의 거리 값이 50cm 이상이 되면 GO상태로 바뀌어 앞으로 간다. RL의 거리 값이 50cm 이하이면 GO_L상태로 바뀌어 전진하면서 왼쪽으로 돌게 된다. 그리고 RL의 거리 값이 30cm 이하이면 상태는 STOP로 바뀌어 멈추게 된다.

3.실시 예

상기와 같은 구성 및 작용으로 이루어지는 본 발명을 도13과 같이 일반적인 전동 휠체어에 구성하여 실제적인 실시를 시연해보면, 시선 인식을 위해 적외선 필터가 장착된 HyVision HVR-2300CA 카메라 1대와 2개의 광원(IR LED집합)을 장착하고, 자율 주행을 위해 모터제어 보드(SDQ-DA04EX), 초음파 센서 10개(SRF10), 센서 제어 보드를 사용하였으며, 윈도우 XP 기반의 펜티엄 듀얼코어 2.16GHz 노트북과 Microsoft Visual C++ 6.0, HVR-2300CA SDK, OpenCV3.1b 라이브러리를 사용하여 구성하였다.

본 발명은 다양한 사용자와 다양한 환경에서도 잘 동작되어야 한다. 따라서 시선인식 인터페이스와 자율주행의 효율성을 증명하기 위하여 10명의 사용자와 8가지의 상황을 정의하여 실험을 3가지로 구분하여 실시하였다.

첫째, 사용자는 시선을 인식하여 실험을 하기위한 응용프로그램을 통해 사용자의 명령을 효과적으로 전달하는지를 실험하였다.

둘째, 사용자 없이 자율주행으로 임의의 장애물을 설치하였을 때 장애물을 감지하고 정확하게 회피하는지를 실험하였다.

마지막으로, 사용자가 시선인식으로 휠체어를 움직이게 하고 자율주행으로 장애물을 회피 하게하는 방법으로 제안된 시스템의 효율성과 안전성에 대해 실험을 실시하였다.

가. 시선인식 실험

본 발명은 적외선 필터가 장착된 카메라로부터 이미지가 들어오면 그레이 이미지로 변환 후 이진화, 모폴로지, 라벨링 알고리즘을 사용하여 동공 후보 영역을 찾고 후보 영역의 크기와 위치에 따라서 최종 동공 영역을 검출한다. 검출된 동공 영역의 중심을 찾고 그 점을 중심으로 반사점이 있을 만한 영역을 설정한다. 다시 앞의 그레이 이미지에서 위에서 찾은 반사점 영역을 떼어 낸다. 그리고 다시 이진화, 라벨링 알고리즘을 사용하여 반사점 후보 영역을 찾고 후보 영역의 크기와 동공의 중심점과의 거리에 따라서 최종 반사점 2개를 검출한다. 이렇게 해서 찾아진 동공과 반사점 2개의 위치 관계에 따라서 9가지의 명령어로 휠체어를 제어 한다.

시선인식 인터페이스에 있어서 도14와 같이 응용프로그램(미로찾기게임, 구글어스)을 구성하고 사용자의 명령에 따라 잘 동작하는지를 증명하기 위해 10명의 사용자를 대상으로 9가지의 명령어를 각각 10번씩 실행하도록 하였다.

표4는 시선 인식 인터페이스의 명령어를 사용자 별로 10번 명령어를 내렸을 때 몇 번 성공하였는지에 대한 결과를 나타낸 것이다. 예를 들어 BACK의 경우 10명의 사용자가 시선인식을 통해 BACK이라는 명령어를 10번씩 내렸을 때 BACK을 실행한 횟수가 86번이고, 오작동으로 STOP을 4회, BACK LEFT를 5회, BACK RIGHT를 5회 작동한 것이다. 실험 결과 명령어 중 각 대각선 부분인 GO LEFT와 GO RIGHT, BACK LEFT, BACK RIGHT의 인식률이 다른 명령어의 인식률 보다 떨어지는 것을 알 수 있다. 명령어 GO LEFT와 GO RIGHT는 눈을 이동 시키면서 흰자위에 반사점이 퍼져서 반사점의 측정이 불투명하게 되는 경우가 발생하였고, BACK, BACK LEFT와 BACK RIGHT의 경우는 눈동자가 아래로 향하면서 눈꺼풀이 내려와서 반사점을 가리는 경우가 발생하였다. 그리고 사용자가 안경을 착용할 경우 안경렌즈에 반사점이 생겨 시선인식이 오작동 하였으나 테스트결과 시선인식 실험에서 명령어의 인식률은 90%를 보였다.

나. 자율주행 실험

노약자 및 장애인은 신체적인 능력의 저하로 인해 갑작스럽게 나타나는 장애물이나 위급상황에 대처하지 못해 위험에 빠질 수 있다. 또한 조작 미숙으로 인한 사고 역시 많이 발생하고 있다. 그래서 시선인식 인터페이스를 통해 휠체어에 명령어를 전달하면 명령어에 따라 휠체어가 움직일 때 자율주행은 10개의 초음파센서를 이용하여 장애물을 감지하고 회피하여 목표지점까지 부딪힘 없이 도착하도록 도와준다.

자율주행 실험은 8가지의 다른 상황을 정의하여 휠체어가 각 상황에 맞게 장애물을 피해 갈 수 있는지 각각 20회씩 실험을 실시하였다. 각각의 상황들은 일반복도(넓이: 2m, 길이: 11m)에서 장애물(박스: 가로40cm, 세로32cm, 높이62cm)을 설치하여 만들었다. 장애물이 아무것도 없을 때 평균시간은 39.56초이다. 표5는 각 상황별 실험 결과를 보여준다.

테스트 결과 상황A～상황E까지는 20번씩 실험에서 장애물과 아무런 부딪힘 없이 100% 성공을 보였다. 하지만 상황F～상황H는 복도의 가운데 장애물이 있는 상황인데 휠체어가 회전하는 각의 반경이 커서 장애물을 회피한 뒤 벽과 부딪히는 현상이 발생하여 성공률이 다른 상황보다 떨어지는 것을 알 수 있다. 자율주행 테스트 결과 전체 성공률은 약 95% 로 나타났다.

다. 전체 통합

사용자가 시선인식 인터페이스를 통해서 명령어를 내리고 자율주행을 통해 장애물을 회피하여 목표지점까지 도착하는 것을 테스트하였다. 테스트의 환경은 도15에 도시된 바와 같이 구성하여 10명을 대상으로 10번씩 실행하게 하였다. 장애물 없이 조이스틱으로 측정한 평균시간은 98.45초이다.

<전체 통합 실험결과>

PERSON	횟수	평균시간 ( sec )	성공	실패	성공률
A	10	102.35	10	0	100%
B	10	120.68	9	1	90%
C	10	112.72	10	0	100%
D	10	140.56	8	2	80%
E	10	121.56	10	0	100%
F	10	145.65	9	1	90%
G	10	110.89	10	0	100%
H	10	125.62	10	0	100%
I	10	103.65	10	0	100%
J	10	150.65	7	3	70%

표6에서 보면 테스트 결과 성공률은 약 93%이다. 테스트를 하면서 사용자의 인터페이스 숙달 정도에 따라 평균시간과 성공여부의 차이가 나는 것을 알 수가 있었다.

테스트 결과 적외선필터를 사용하여 조명이나 빛의 영향을 받지 않고 시선인식이 강건하게 작동하였으며, 초음파센서를 이용한 자율주행은 주행 중 발생할 수 있는 위험사항으로부터 사용자를 안전하게 보호 하는 역할을 이행하여 눈동자의 움직임만으로도 휠체어를 제어할 수 있기 때문에, 척추뿐만 아니라 목이나 입 등을 자유롭게 움직이기 힘든 중증 장애인에게 새로운 생활환경을 제공 할 수 있는 것이다.

Claims (2)

1. 휠체어에 장착하여 구성하는 자율주행 시스템에 있어서,
   적외선 필터가 장착된 카메라와 광원을 이용하여 동공을 검출하여 중심점을 구하고, 그 중심점을 이용하여 반사점이 있을만한 영역을 지정 한 후 반사점들의 중심점을 검출하여. 구해진 중심점들의 관계로 현재 시선이 향하는 방향을 인식하고 그 방향에 해당하는 명령어를 모터 제어 모듈로 전달하여 휠체어를 제어하는 시선 인식 인터페이스;
   초음파 센서들을 구성하고 상기 초음파 센서들에 의해 감지된 장애물 정보는 센서 제어 보드로 전달되고, 센서 제어 보드는 장애물이 있는지를 판단하고 장애물을 회피하도록 모터 제어 보드로 명령을 전달하게 구성되는 자율 주행 모듈;로 구성되어
   상기 시선 인식 인터페이스로 명령어를 전달하면 자율 주행 모듈이 동작하게 되고 자율 주행 모듈은 초기상태는 항상 멈춤 상태를 유지하고, 상기 시선 인식 인터페이스에서 동공과 두 반사점을 찾아 시선인식으로 진행의 명령어를 전달하면 상태는 진행 상태로 바뀌면서 본 발명 시스템에 장착된 전동휠체어가 앞으로 이동 하게 되고, 진행 상태에서 상기 센서가 장애물의 감지에 따라 상기휠체어의 진행이 변경 되게 하는 것을 특징으로 하는 시선 인식을 이용한 자율주행 휠체어 시스템
   
   
2. 제 1항에 있어서 시선 인식 인터페이스의 시선을 인식하는 과정은
   카메라로 부터 이미지를 얻고 전처리 과정을 거친 이미지를 통해 얻어진 동공에 해당하는 임계값으로 이진화이미지를 얻는다. 이진화이미지에서 라벨링(Labeling) 알고리즘을 이용하여 각각의 객체를 분리한후 Fitting of Ellipses 알고리즘과 사이즈 필터링 알고리즘을 사용 객체를 제거한후 남은 객체의 중심 값의 y값 중에서 가장 위에 위치한 후보 영역을 최종적으로 동공영역이라고 결정하여 동공의 중심점을 검출하고,
   상기 동공 중심점 검출과 같이 전처리 과정을 거친 이미지를 검출된 동공의 중심점을 기준으로 반사점이 있을 영역을 설정하고, 그 영역을 임계값으로 이진화 시킨 후 가우시안 피라미드 분해를 통해 업-샘플을 사용하여 Canny Edge를 이용해서 경계점을 검출하고, 라벨링과 사이즈필터링을 사용하여 반사점 크기가 될 수 없는 크기의 영역은 제거한 후 반사점 후보 영역들 중에서 동공 중심점과의 거리가 가장 가까운 두 개의 영역을 반사점으로 최종 선택하고 두 반사점의 중심점을 검출하는 것을 특징으로 하는 시선 인식을 이용한 자율주행 휠체어 시스템

Images