KR101372544B1 - 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템 - Google Patents

사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템 Download PDF

Info

Publication number
KR101372544B1
KR101372544B1 KR1020120149245A KR20120149245A KR101372544B1 KR 101372544 B1 KR101372544 B1 KR 101372544B1 KR 1020120149245 A KR1020120149245 A KR 1020120149245A KR 20120149245 A KR20120149245 A KR 20120149245A KR 101372544 B1 KR101372544 B1 KR 101372544B1
Authority
KR
South Korea
Prior art keywords
wheelchair
user
image input
situation recognition
gesture
Prior art date
Application number
KR1020120149245A
Other languages
English (en)
Inventor
김은이
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020120149245A priority Critical patent/KR101372544B1/ko
Application granted granted Critical
Publication of KR101372544B1 publication Critical patent/KR101372544B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A61G5/041—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven having a specific drive-type
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1051—Arrangements for steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K7/00—Disposition of motor in, or adjacent to, traction wheel
    • B60K7/0007—Disposition of motor in, or adjacent to, traction wheel the motor being electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice

Landscapes

  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템에 관한 것으로서, 사용자의 얼굴 기울기와 입모양을 이용한 사용자의 제스처를 인식하여 휠체어의 이동방향 및 전진과 정지 등을 제어하고, 휠체어 주변에 위치한 장애물을 자동으로 검출함으로써, 사용자에게 회피 방향을 제시하는 휠체어 제어 시스템을 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 사용자의 제스처 및 주변 장애물을 인식하기 위한 영상을 입력받는 영상입력 장치; 및 상기 영상입력 장치를 통해 입력된 영상을 바탕으로, 장애물에 대한 회피 가능한 경로를 판단하고, 휠체어를 제어하는 제어 장치; 를 포함한다.

Description

사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템{SYSTEM FOR CONTROLLING WHEELCHAIR USING USER'S GESTURE AND SITUATION RECOGNITION}
본 발명은 지능형 휠체어 제어 시스템에 관한 것으로서, 더욱 상세하게는 사용자의 얼굴 기울기와 입모양을 이용한 사용자의 제스처를 인식하여 휠체어의 이동방향 및 전진과 정지 등을 제어하고, 휠체어 주변에 위치한 장애물을 자동으로 검출함으로써, 사용자에게 회피 방향을 제시하는 휠체어 제어 시스템에 관한 것이다.
종래 지능형 휠체어에 관련해서는, 일본공개특허 특개 2010-172548호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.
상기한 선행문헌을 살피면, 전방위 카메라와 거리 센서가 조합되고, 전방위 카메라에 비치는 피사체에 대해, 해당 피사체까지의 거리 및 방향의 정보를 대응시킨 화상 정보를 제공하는 센서수단과, 센서수단의 화상정보를 기초로 간호인의 위치를 검출하는 간호인 위치 검출수단과, 센서수단의 화상정보를 기초로 주위의 사람이나 장애물을 검출하는 주위상황 검출수단과, 간호인 위치 검출수단 및 주위상황 검출수단의 검출 결과에 근거하여 휠체어의 이동 경로를 결정하는 이동경로 판별수단을 포함한다.
그러나, 선행문헌을 포함한 종래 기술은, 척추 장애 및 중중 장애인들이 손쉽게 제어하거나, 충분한 이동성을 제공하는데 한계가 있었다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 사용자의 얼굴 기울기와 입모양을 이용한 사용자의 제스처를 인식하여 휠체어의 이동방향 및 전진과 정지 등을 제어하고, 휠체어 주변에 위치한 장애물을 자동으로 검출함으로써, 사용자에게 회피 방향을 제시하는 휠체어 제어 시스템을 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템에 관한 것으로서, 사용자의 제스처 및 주변 장애물을 인식하기 위한 영상을 입력받는 영상입력 장치 및 상기 영상입력 장치를 통해 입력된 영상을 바탕으로, 장애물에 대한 회피 가능한 경로를 판단하고, 휠체어를 제어하는 제어 장치; 를 포함한다.
또한 상기 영상입력 장치는, 사용자를 바라보도록 휠체어에 설치되어, 사용자 제스처를 인식하는 제 1 카메라부; 및 상기 휠체어 전방으로 설치되어 주변의 장애물을 인식하는 제 2 카메라부; 를 포함하는 것을 특징으로 한다.
또한 상기 제어 장치는, 상기 영상입력 장치의 제 2 카메라부로부터 입력되는 실시간 영상으로부터 장애물을 검출하고, 장애물이 위치한 위험상황을 인식하여 회피 가능한 경로를 판단하는 내비게이션부; 및 상기 내비게이션부의 진동정보에 따라 변화하는 사용자의 제스처를 인식하여, 휠체어를 제어하는 휠체어 제어부; 를 포함하는 것을 특징으로 한다.
또한 상기 내비게이션부는, 상기 영상입력 장치의 제 2 카메라부로부터 입력되는 실시간 영상으로부터 장애물을 분류하고, 점유 그리드 맵을 생성하며, 아다부스트 알고리즘을 통해 이동 가능한 방향 정보를 생성하여 촉각 인터페이스모듈로 전송하는 상황 인식모듈; 및 상기 상황 인식모듈을 통해 생성된 이동 가능한 방향 정보에 따라 진동을 발생시켜, 사용자에게 전달하는 촉각 인터페이스모듈; 를 포함한다.
또한 상기 상황 인식모듈은, 온라인 학습을 이용하여 배경 모델을 추산하며, 추산된 배경 모델을 바탕으로 장애물을 분류하고, 점유 그리드 맵을 생성하는 것을 특징으로 한다.
또한 상기 상황 인식모듈은, 배경 모델을 바탕으로 모든 픽셀에 대하여 장애물 분류를 수행하되, 각 픽셀의 색조 임계값 및 명도 임계값에 따라 장애물을 분류하는 것을 특징으로 한다.
또한 상기 상황 인식모듈은, 아다부스트 학습을 통해 이동 가능한 방향 정보에 관한 사각특징들을 추출하는 것을 특징으로 한다.
또한 상기 촉각 인터페이스모듈은, 상기 상황 인식모듈을 통해 생성된 이동 가능한 방향 정보에 대한 디지털 신호를 제어기에 전송하는 통신기; 상기 상황 인식모듈을 통해 생성된 이동 가능한 방향 정보를 컴파일(compile)하여 모터 구동에 관한 핀 제어신호를 제어기에 저장하는 다운로더기; 다수개의 핀이 구성되어 있으며, 상기 다운로더기를 통해 전송된 핀 제어신호 및 통신기를 통해 전송된 이동 가능한 방향 정보를 바탕으로, 각 핀에서 드라이브 신호를 생성하여, 해당 모터의 진동을 발생시키는 제어기; 및 적어도 하나 이상의 모터로 구성되어, 상기 제어기의 각 핀에 대한 드라이브 신호에 따라 진동하는 모터; 를 포함한다.
또한 상기 통신기는, 블루투스 통신모듈인 것을 특징으로 한다.
또한 상기 휠체어 제어부는, 상기 내비게이션부의 진동정보에 따라 변화하는 사용자의 얼굴 기울기를 인식하고, 입모양을 인식하여 휠체어에 대한 제어명령정보를 생성하는 사용자 인식모듈; 및 상기 사용자 인식모듈을 통해 생성된 제어명령정보를 휠체어 컨트롤러로 전송하여 휠체어가 제어되도록 하는 휠체어 제어모듈; 을 포함하는 것을 특징으로 한다.
그리고 상기 사용자 인식모듈은, 상기 영상입력 장치의 제 1 카메라부로부터 입력되는 실시간 영상으로부터 아다부스트 알고리즘을 이용하여 얼굴영역을 검출하고, 에지 정보를 이용하여 입 모양을 검출하며, 검출된 결과들을 바탕으로 통계분석(statistical analysis)과 K-means clustering 기법을 이용하여 얼굴 기울기 각도와 입 모양을 인식하며, 인식된 결과들은 휠체어의 모터를 제어하기 위한 제어명령정보로 변환하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 사용자의 제스처를 인식함으로써 사용자의 의도에 따라 손쉽게 휠체어를 제어할 수 있으며, 주변 장애물과 비장애물을 구분함으로써, 주변 상황에 손쉽게 대처할 수 있는 효과가 있다.
부연하면, 사용자의 최소의 얼굴 움직임만을 이용하기 때문에, 척추 장애 및 중증 장애인도 최소의 움직임만을 이용하여 편리하게 지능형 휠체어를 제어할 수 있다. 또한, 사용자의 의도적인 행동과 비 의도적인 행동을 구분함으로써, 휠체어를 제어하고자 하는 사용자의 정확한 행동만을 인식할 수 있다. 그리고, 휠체어 주행 중에 발생할 수 있는 위험한 상황으로부터 사용자를 안전하게 지킬 수 있다.
도 1 은 본 발명의 일실시예에 따른 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명의 일실시예에 따른 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템이 적용되는 휠체어를 보이는 일예시도.
도 3 은 본 발명의 일실시예에 따른 장애물 분류 결과에 관한 일예시도.
도 4 는 본 발명의 일실시예에 따른 아다부스트 학습 알고리즘의 개요도.
도 5 는 본 발명의 일실시예에 따른 촉각 인터페이스모듈에 관한 세부 구성도.
도 6 은 본 발명의 일실시예에 따른 모터를 구동하기 위한 촉각 인터페이스모듈의 전기회로를 보이는 일예시도.
도 7 은 본 발명의 일실시예에 따른 촉각 인터페이스모듈을 실제 구현한 모습을 보이는 일예시도.
도 8 은 본 발명의 일실시예에 따른 검출된 입 영역을 보이는 일예시도.
도 9 는 본 발명의 일실시예에 따른 얼굴 기울기 인식결과에 관한 일예시도.
도 10 는 본 발명의 일실시예에 따른 입 모양의 기본 템플릿을 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명의 일실시예에 따른 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템에 관하여 도 1 내지 도 10 을 참조하여 설명하면 다음과 같다.
도 1 은 본 발명의 일실시예에 따른 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 영상입력 장치(100) 및 제어 장치(200)를 포함하여 이루어진다.
영상입력 장치(100)는 사용자의 제스처 및 주변 장애물을 인식하기 위한 영상을 입력받는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 제 1 카메라부(110) 및 제 2 카메라부(120)를 포함한다.
구체적으로, 제 1 카메라부(110)는 웹 카메라로서, 사용자를 바라보도록 휠체어(10)의 탁자 등에 설치되어, 사용자 제스처를 인식한다.
제 2 카메라부(120)는 CCD 카메라로서, 휠체어(10) 전방으로 설치되어 주변의 장애물을 인식한다. 이때, 제 1 카메라부(110) 및 제 2 카메라부(120)는, 실시간으로 320×240 사이즈의 영상을 10fps(frame per second)로 출력할 수 있다.
제어 장치(200)는 영상입력 장치(100)를 통해 입력된 영상을 바탕으로, 장애물에 대한 회피 가능한 경로를 판단하고, 휠체어(10)를 제어하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 내비게이션부(210) 및 휠체어 제어부(220)를 포함한다.
구체적으로, 내비게이션부(210)는 영상입력 장치(100)의 제 2 카메라부(120)로부터 입력되는 실시간 영상으로부터 장애물을 검출하고, 장애물이 위치한 위험상황을 인식하여 회피 가능한 경로를 판단하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 상황 인식모듈(211) 및 촉각 인터페이스모듈(212)을 포함한다.
더욱 구체적으로, 상황 인식모듈(211)은 영상입력 장치(100)의 제 2 카메라부(120)로부터 입력되는 실시간 영상으로부터 장애물을 분류하고, 점유 그리드 맵을 생성하며, 아다부스트 알고리즘을 통해 이동 가능한 방향 정보를 생성하여 촉각 인터페이스모듈(212)로 전송한다.
이때, 상황 인식모듈(211)은 온라인 학습을 이용하여 배경 모델을 추산하며, 추산된 배경 모델을 바탕으로 장애물을 분류하고, 점유 그리드 맵을 생성한다.
즉, 배경 모듈은 사용자가 배경에 서있다고 가정하며, 도 3 의 (a) 와 같이 사용자 앞에 사다리꼴 영역이 배경 모델을 추정하는 기준으로 사용된다. 연속된 프레임의 다섯 개의 참조 영역 내에서 OR 연산을 사용하여 배경 모델로 사용된다. 새로운 프레임이 입력되면 이 프로세서는 지속적으로 업데이트 된다.
또한, 배경 모델을 바탕으로 장애물 분류는 모든 픽셀에 대해 수행되며, 다음 두 조건 중 하나가 만족되는 경우 장애물로 분류된다.
첫째, 픽셀의 색조 값이 있는 색상 히스토그램의 값이 색조 임계값 아래에 있다. 둘째, 픽셀의 명도 값이 있는 명도 히스토그램의 값이 명도 임계값 아래에 있다. 장애물에 해당하는 픽셀은 '1'로 배경에 해당하는 픽셀은 '0'으로 표시된다.
이와 같이, 도 3 의 (d) 와 같은 그레이스케일 이미지로 생성된 점유 그리드 맵(Occupancy Grid Map: OGM)을 생성한다. 점유 그리드 맵(OGM)의 각 셀은 10×10 픽셀에 해당하고, 32×24크기의 점유 그리드 맵(OGM)은 320×240으로 입력된 프레임에 의해 생성된다.
각 셀의 그레이 값은 0부터 9까지 값을 가진다. 셀의 그레이 값은 10×10 픽셀영역에서 장애물로 분류된 픽셀 개수×0.1하여 결정된다. 따라서 밝은 값이 더 위험한 지역을 의미한다.
도 3 은 장애물 분류 결과에 관한 일예시도로서, 도 3 의 (a) 는 입력 영상, (b) 는 배경 모델의 색조와 명도 히스토그램, (c) 와 (d) 는 각각 장애물 분류 결과와 생성된 점유 그리드 맵(OGM)이다.
한편, 사람 인지의 경우, 안전한 경로를 결정하는 것은 대부분은 경계나 장애물과 같은 장면에서 추출한 시각적 단서에 의존한다.
따라서, 자동으로 이러한 특성을 포착하기 위해 아다부스트 알고리즘이 사용된다. 아다부스트 학습을 통해 높은 정확도의 경로 추천이 가능한 사각 특징(Haar-like feature; rectangle 특징)을 추출하였다.
학습 단계에서 학습을 위해 수집된 1,200장의 방향 데이터 이미지를 이용하여 3×3 행렬 형태에서 모든 가능한 사각 특징으로부터 경로 추천을 위해 효율적인 사각 특징점들을 선택하였다. 선택된 특징들 중 에러율을 측정하였고 그 중 각 방향별로 총 562개의 사각 특징점들을 최종적으로 선정하였다. 도 4 는 아다부스트 학습 알고리즘의 개요를 보여주며, [표 1] 은 아다부스트 학습 알고리즘을 보여준다.
[표 1]
Figure 112012105755190-pat00001

촉각 인터페이스모듈(212)은 상황 인식모듈(211)을 통해 생성된 이동 가능한 방향 정보에 따라 진동을 발생시켜, 사용자에게 전달하는 기능을 수행하는 바, 도 5 에 도시된 바와 같이 통신기(212a), 다운로더기(212b), 제어기(212c) 및 모터(212d)를 포함한다.
통신기(212a)는 블루투스 통신모듈로서, 상황 인식모듈(211)을 통해 생성된 이동 가능한 방향 정보에 대한 디지털 신호를 제어기(212b)에 전송하며, 다운로더기(212b)는 상황 인식모듈(211)을 통해 생성된 이동 가능한 방향 정보를 컴파일(compile)하여 모터 구동에 관한 핀 제어신호를 제어기(212c)에 저장한다.
또한, 제어기(212c)(MCU)는 다수개의 핀이 구성되어 있으며, 다운로더기(212b)를 통해 전송된 핀 제어신호 및 통신기(212a)를 통해 전송된 이동 가능한 방향 정보를 바탕으로, 각 핀에서 드라이브 신호를 생성하여, 해당 모터(212d)의 진동을 발생시키며, 이러한 진동은 사용자에게 전달된다.
이때, 촉각 인터페이스모듈(212)은 다수개, 바람직하게 다섯 개의 작은 모터로 구동하는 간단한 촉각 인터페이스로서, 사용자가 보행 중일 때 상황에 따라, 위험상황, 직진, 좌, 우, 정지의 다섯 가지 신호를 줄 수 있다. 즉, 1번 모터는 위험상황, 2번 모터는 직진, 3번 모터는 좌, 4번 모터는 우, 5번 모터는 정지로 설정될 수 있다.
도 6 은 모터를 구동하기 위한 촉각 인터페이스모듈의 전기회로를 보이는 일예시도로서, 전해 콘덴서(capacitors)는 전력 요소와 전압을 개선하기 위해서 사용하며, 트랜지스터는 전기적 스위치로 사용한다. 그 외의 전압은 드라이버 모터와 제어기(212c)를 구동하는데 사용한다. 도 7 은 촉각 인터페이스모듈(212)을 실제 구현한 모습을 보이는 일예시도이다.
한편, 본 실시예에서, 블루투스 통신을 이용하는 것으로 설정하였으나, 본 발명이 이에 한정되는 것은 아닌 바, 다양한 통신 방식이 적용 가능하다. 또한 본 실시예에서, 다섯 가지의 신호를 줄 수 있는 것으로 설정하였으나, 본 발명이 이에 한정되는 것은 아닌 바, 사용자의 보행 상황에 따라 다양하게 설계 변경 가능하다.
휠체어 제어부(220)는 내비게이션부(210)의 진동정보에 따라 변화하는 사용자의 제스처를 인식하여, 휠체어(10)를 제어하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 사용자 인식모듈(221) 및 휠체어 제어모듈(222)을 포함한다.
구체적으로, 사용자 인식모듈(221)은 내비게이션부(210)의 진동정보에 따라 변화하는 사용자의 얼굴 기울기를 인식하고, 입모양을 인식하여 휠체어(10)에 대한 제어명령정보를 생성한다.
이때, 사용자 인식모듈(221)은 영상입력 장치(100)의 제 1 카메라부(110)로부터 입력되는 실시간 영상으로부터 아다부스트 알고리즘을 이용하여 얼굴영역을 검출하고, 에지 정보를 이용하여 입 모양을 검출하며, 검출된 결과들을 바탕으로 통계분석(statistical analysis)과 K-means clustering 기법을 이용하여 얼굴 기울기 각도와 입 모양을 인식한다. 이후, 인식된 결과들은 휠체어(10)의 모터를 제어하기 위한 제어명령정보로 변환한다.
이때, 입의 위치는 다음과 같은 위치정보를 바탕으로 검출된다.
먼저, 입은 얼굴 아랫부분이며, 중앙에 위치한다. 또한, 입은 주변과 비교했을 때, 고주파 성분을 가진다. 정해진 범위에서 에지 검출기를 이용하여 나타난 결과는 연결 성분 분석을 통해 작은 영역들은 제거되고, 최종적으로 입 영역이 검출된다.
도 8 은 검출된 입 영역을 보이는 일예시도로서, 도 8 의 (a) 및 (c) 는 에지 검출기에 의해 검출된 입 영역이며, (b) 및 (d) 는 후처리 결과로 검출된 입 영역이다.
이후, 검출된 입 영역 결과를 바탕으로, 얼굴의 기울기와 입 모양이 인식된다. 즉, 얼굴의 기울기는 통계분석(statistical analysis)을 이용하여 인식되며, 얼굴의 방향을 구하기 위한 ρ 는 [수식 2] 에 의해 얻어진다.
[수식 1]
Figure 112012105755190-pat00002
[수식 2] 의 ρ 는 [수식 1] 의 inertia 식을 최소로 하는 β 를 찾음으로써 얻어진다. 따라서, 얼굴의 각도는 [수식 2] 에 의해 얻어진다.
Figure 112012105755190-pat00003
여기서,
Figure 112012105755190-pat00004
그리고,
Figure 112012105755190-pat00005
이다. 만약, ρ 값이 0보다 작다면, 사용자의 얼굴 기울기는 왼쪽으로 인식된 것이며, 그와 반대로 ρ 값이 0보다 크면, 사용자의 얼굴 기울기는 오른쪽을 향하고 있는 것이다. 도 9 는 얼굴 기울기 인식결과를 보여준다.
입 모양의 인식은 검출된 얼굴영역 내에서 위치정보를 기반으로 검출된 입 영역에서 입 모양에 대한 표준 템플릿과 비교하는 template matching을 통해 입 모양을 인식한다. 입 모양에 대한표준 템플릿은 K-means clustering에 의해 생성된다.
본 발명에 따른 시스템은 114개의 입 이미지를 입력받아 6가지 입 모양에 대한 표준 템플릿을 생성하며, 도 10 은 K-means clustering에 의해 생성된 6가지 표준 입 모양 템플릿을 나타낸 일예시도로서, 도 10 의 (a) 는 입 모양 "Uhm" 의 기본 템플릿이며, (b) 는 "Go" 의 기본 템플릿이다.
K-means clustering을 이용하여 생성된 6개의 기본 입 모양 템플릿은 이전 프레임에서 검출된 입의 위치를 중심으로 하는 탐색 윈도우 창에서 템플릿과 입 영역을 비교하여 최종적으로 입 모양을 인식한다. 이 템플릿은 탐색 창에서 반복적으로 이동하며 중요한 서브 이미지와 비교한다. 템플릿과 서브 이미지의 비교결과는 매칭 점수로 표현되며, 매칭 점수는 hamming distance를 이용하여 계산된다. 검출된 입 영역은 모든 템플릿과의 매칭 점수를 계산하여 최적의 매칭 점수를 가지는 템플릿을 선택한다.
한편, 본 실시예에서, 사용자의 얼굴 기울기 인식을 통해 휠체어(10)의 좌, 우 방향이 제어되며, 입 모양의 "Uhm"와 "Go"에 의해 휠체어의 정지, 전진이 수행되는 것으로 설정하였으나, 본 발명이 이에 한정되는 것은 아니다.
휠체어 제어모듈(222)은 사용자 인식모듈(221)을 통해 생성된 제어명령정보를 휠체어 컨트롤러(20)로 전송하여 DAQ 보드(30)를 통해 휠체어(10)가 제어되도록 한다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템
100: 영상입력 장치 200: 제어 장치
110: 제 1 카메라부 120: 제 2 카메라부
210: 내비게이션 220: 휠체어 제어부
211: 상황 인식모듈 212: 촉각 인터페이스모듈
212a: 통신기 212b: 다운로더기
212c: 제어기 212d: 모터
221: 사용자 인식모듈 222: 휠체어 제어모듈
10: 휠체어 20: 휠체어 컨트롤러
30: DAQ 보드

Claims (11)

  1. 사용자의 제스처 및 주변 장애물을 인식하기 위한 영상을 입력받는 영상입력 장치(100); 및
    상기 영상입력 장치(100)를 통해 입력된 영상을 바탕으로, 장애물에 대한 회피 가능한 경로를 판단하고, 휠체어(10)를 제어하는 제어 장치(200); 를 포함하되,
    상기 제어 장치(200)는,
    상기 영상입력 장치(100)의 제 2 카메라부(120)로부터 입력되는 실시간 영상으로부터 장애물을 검출하고, 장애물이 위치한 위험상황을 인식하여 회피 가능한 경로를 판단하는 내비게이션부(210); 및
    상기 내비게이션부(210)의 진동정보에 따라 변화하는 사용자의 제스처를 인식하여, 휠체어(10)를 제어하는 휠체어 제어부(220); 를 포함하며,
    상기 내비게이션부(210)는,
    상기 영상입력 장치(100)의 제 2 카메라부(120)로부터 입력되는 실시간 영상으로부터 장애물을 분류하고, 점유 그리드 맵을 생성하며, 아다부스트 알고리즘을 통해 이동 가능한 방향 정보를 생성하여 촉각 인터페이스모듈(212)로 전송하는 상황 인식모듈(211); 및
    상기 상황 인식모듈(211)을 통해 생성된 이동 가능한 방향 정보에 따라 진동을 발생시켜, 사용자에게 전달하는 촉각 인터페이스모듈(212); 를 포함하는 것을 특징으로 하며,
    상기 촉각 인터페이스모듈(212)은,
    상기 상황 인식모듈(211)을 통해 생성된 이동 가능한 방향 정보에 대한 디지털 신호를 제어기(212b)에 전송하는 통신기(212a);
    상기 상황 인식모듈(211)을 통해 생성된 이동 가능한 방향 정보를 컴파일(compile)하여 모터 구동에 관한 핀 제어신호를 제어기(212c)에 저장하는 다운로더기(212b);
    다수개의 핀이 구성되어 있으며, 상기 다운로더기(212b)를 통해 전송된 핀 제어신호 및 통신기(212a)를 통해 전송된 이동 가능한 방향 정보를 바탕으로, 각 핀에서 드라이브 신호를 생성하여, 해당 모터(212d)의 진동을 발생시키는 제어기(212c); 및
    적어도 하나 이상의 모터로 구성되어, 상기 제어기(212c)의 각 핀에 대한 드라이브 신호에 따라 진동하는 모터(212d); 를 포함하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  2. 제 1 항에 있어서,
    상기 영상입력 장치(100)는,
    사용자를 바라보도록 휠체어(10)에 설치되어, 사용자 제스처를 인식하는 제 1 카메라부(110); 및
    상기 휠체어(10) 전방으로 설치되어 주변의 장애물을 인식하는 제 2 카메라부(120); 를 포함하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 상황 인식모듈(211)은,
    온라인 학습을 이용하여 배경 모델을 추산하며, 추산된 배경 모델을 바탕으로 장애물을 분류하고, 점유 그리드 맵을 생성하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  6. 제 1 항 또는 제 5 항에 있어서,
    상기 상황 인식모듈(211)은,
    배경 모델을 바탕으로 모든 픽셀에 대하여 장애물 분류를 수행하되, 각 픽셀의 색조 임계값 및 명도 임계값에 따라 장애물을 분류하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  7. 제 1 항에 있어서,
    상기 상황 인식모듈(211)은,
    아다부스트 학습을 통해 이동 가능한 방향 정보에 관한 사각특징들을 추출하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 통신기(212a)는,
    블루투스 통신모듈인 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  10. 제 1 항에 있어서,
    상기 휠체어 제어부(220)는,
    상기 내비게이션부(210)의 진동정보에 따라 변화하는 사용자의 얼굴 기울기를 인식하고, 입모양을 인식하여 휠체어(10)에 대한 제어명령정보를 생성하는 사용자 인식모듈(221); 및
    상기 사용자 인식모듈(221)을 통해 생성된 제어명령정보를 휠체어 컨트롤러(20)로 전송하여 휠체어(10)가 제어되도록 하는 휠체어 제어모듈(222); 을 포함하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
  11. 제 10 항에 있어서,
    상기 사용자 인식모듈(221)은,
    상기 영상입력 장치(100)의 제 1 카메라부(110)로부터 입력되는 실시간 영상으로부터 아다부스트 알고리즘을 이용하여 얼굴영역을 검출하고, 에지 정보를 이용하여 입 모양을 검출하며, 검출된 결과들을 바탕으로 통계분석(statistical analysis)과 K-means clustering 기법을 이용하여 얼굴 기울기 각도와 입 모양을 인식하며, 인식된 결과들은 휠체어(10)의 모터를 제어하기 위한 제어명령정보로 변환하는 것을 특징으로 하는 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템.
KR1020120149245A 2012-12-20 2012-12-20 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템 KR101372544B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120149245A KR101372544B1 (ko) 2012-12-20 2012-12-20 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149245A KR101372544B1 (ko) 2012-12-20 2012-12-20 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템

Publications (1)

Publication Number Publication Date
KR101372544B1 true KR101372544B1 (ko) 2014-03-14

Family

ID=50648222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149245A KR101372544B1 (ko) 2012-12-20 2012-12-20 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템

Country Status (1)

Country Link
KR (1) KR101372544B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104287906A (zh) * 2014-09-28 2015-01-21 姚健军 具有智能终端的轮椅
CN107349078A (zh) * 2017-07-13 2017-11-17 侯苏 安装智能化操控系统的手术椅及方法
CN108743086A (zh) * 2018-01-19 2018-11-06 西安电子科技大学 用于跟踪前方陪护人员目标的智能轮椅控制方法
EP3673883A4 (en) * 2018-01-16 2020-08-19 Yamaha Hatsudoki Kabushiki Kaisha TRAVEL CONTROL DEVICE FOR AN ELECTRIC ONE PASSENGER VEHICLE, TRAVEL CONTROL SYSTEM FOR AN ELECTRIC ONE PASSENGER VEHICLE AND AN ELECTRIC ONE PASSENGER VEHICLE
CN116617011A (zh) * 2023-07-21 2023-08-22 小舟科技有限公司 基于生理信号的轮椅操控方法、装置、终端及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005211442A (ja) * 2004-01-30 2005-08-11 Tottori Univ 自律移動型車椅子
JP2010172548A (ja) * 2009-01-30 2010-08-12 Saitama Univ 自律移動車椅子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005211442A (ja) * 2004-01-30 2005-08-11 Tottori Univ 自律移動型車椅子
JP2010172548A (ja) * 2009-01-30 2010-08-12 Saitama Univ 自律移動車椅子

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
주진선 외 1인, "얼굴 특징 인터페이스와 상황 인식 내비게이션을 이용한 지능형 휠체어", 한국정보과학회논문지, vol. 38(10), pp. 567-577 (2011년 10월) *
주진선 외 1인, "얼굴 특징 인터페이스와 상황 인식 내비게이션을 이용한 지능형 휠체어", 한국정보과학회논문지, vol. 38(10), pp. 567-577 (2011년 10월)*
주진선 외 2인, "얼굴과 입 모양 인식을 이용한 지능형 휠체어 시스템", 한국정보과학회논문지, vol. 36(2), pp. 161-168 (2009년 02월) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104287906A (zh) * 2014-09-28 2015-01-21 姚健军 具有智能终端的轮椅
CN107349078A (zh) * 2017-07-13 2017-11-17 侯苏 安装智能化操控系统的手术椅及方法
CN107349078B (zh) * 2017-07-13 2018-08-10 泰州腾翔信息科技有限公司 手术椅智能化操控方法
EP3673883A4 (en) * 2018-01-16 2020-08-19 Yamaha Hatsudoki Kabushiki Kaisha TRAVEL CONTROL DEVICE FOR AN ELECTRIC ONE PASSENGER VEHICLE, TRAVEL CONTROL SYSTEM FOR AN ELECTRIC ONE PASSENGER VEHICLE AND AN ELECTRIC ONE PASSENGER VEHICLE
CN108743086A (zh) * 2018-01-19 2018-11-06 西安电子科技大学 用于跟踪前方陪护人员目标的智能轮椅控制方法
CN108743086B (zh) * 2018-01-19 2023-06-30 西安电子科技大学 用于跟踪前方陪护人员目标的智能轮椅控制方法
CN116617011A (zh) * 2023-07-21 2023-08-22 小舟科技有限公司 基于生理信号的轮椅操控方法、装置、终端及介质
CN116617011B (zh) * 2023-07-21 2023-09-15 小舟科技有限公司 基于生理信号的轮椅操控方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
US11557150B2 (en) Gesture control for communication with an autonomous vehicle on the basis of a simple 2D camera
US12093465B2 (en) Methods and systems for hand gesture-based control of a device
KR102024092B1 (ko) 이동 로봇 시스템 및 그 제어방법
EP2601615B1 (en) Gesture recognition system for tv control
US8405712B2 (en) Gesture recognition apparatus and method thereof
KR101569411B1 (ko) 보행자 인식 장치 및 그 방법
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
KR20220144890A (ko) 다중 사용자 환경에서 손 제스처를 사용하여 디바이스를 제어하기 위한 방법 및 시스템
KR101372544B1 (ko) 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템
JP5925068B2 (ja) 映像処理装置、映像処理方法、およびプログラム
JP5127531B2 (ja) 画像監視装置
JP5730095B2 (ja) 顔画像認証装置
US12094252B2 (en) Occlusion-aware prediction of human behavior
CN103383595A (zh) 基于用户人脸的分析控制移动终端的装置和方法
EP2309454B1 (en) Apparatus and method for detecting motion
KR20150002038A (ko) 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
US12001613B2 (en) Methods and systems for hand gesture-based control of a device
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
KR101374653B1 (ko) 차량의 움직임을 검출하는 장치 및 방법
CN114333056A (zh) 一种手势控制的方法、系统、设备及存储介质
JP2016024534A (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
JP2014154100A (ja) ドライバー状態表示装置
JP2006134339A (ja) 識別方法、識別装置、及び交通制御システム
KR20110007418A (ko) 얼굴 회전각 검출 방법 및 장치
JP2006033347A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee