KR101435546B1 - 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템 - Google Patents

카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템 Download PDF

Info

Publication number
KR101435546B1
KR101435546B1 KR1020120153135A KR20120153135A KR101435546B1 KR 101435546 B1 KR101435546 B1 KR 101435546B1 KR 1020120153135 A KR1020120153135 A KR 1020120153135A KR 20120153135 A KR20120153135 A KR 20120153135A KR 101435546 B1 KR101435546 B1 KR 101435546B1
Authority
KR
South Korea
Prior art keywords
edge
module
situation
obstacle
image
Prior art date
Application number
KR1020120153135A
Other languages
English (en)
Other versions
KR20140087091A (ko
Inventor
김은이
황지혜
고은정
지영광
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020120153135A priority Critical patent/KR101435546B1/ko
Publication of KR20140087091A publication Critical patent/KR20140087091A/ko
Application granted granted Critical
Publication of KR101435546B1 publication Critical patent/KR101435546B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Abstract

본 발명은 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템에 관한 것으로서, 현재 위치에 따른 상황 및 장애물에 관한 영상을 입력받음으로써, 사용자가 교차로 등의 위험한 위치에 위치한 상황이거나, 장애물을 인식할 경우, 촉각 인터페이스를 통해 사용자에게 회피 경로를 제시할 수 있는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템을 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 사용자의 현재 위치 및 주변 상황 인식을 위한 영상을 입력받는 영상 입력부; 상기 영상 입력부를 통해 입력된 영상을 바탕으로, 사용자의 현재 위치를 교차로와 보도로 분류하는 상황 인식부; 상기 영상 입력부를 통해 입력된 영상을 바탕으로 장애물을 분류하고 회피 경로를 결정하는 장애물 인식부; 및 상기 상황 인식부를 통해 판단된 교차로 또는 보도 상황 및 상기 장애물 인식부를 통해 결정된 경로에 따라 진동을 발생시켜, 사용자에게 전달하는 촉각 인터페이스부; 를 포함한다.

Description

카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템{A blind guidance system using camera and tactile interface}
본 발명은 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템에 관한 것으로서, 더욱 상세하게는 시각 장애인용 케인 전방에 부착된 카메라를 통해 현재 위치에 따른 상황 및 장애물에 관한 영상을 입력받음으로써, 사용자가 교차로 등의 위험한 위치에 위치한 상황이거나, 장애물을 인식할 경우, 촉각 인터페이스를 통해 사용자에게 회피 경로를 제시할 수 있는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템에 관한 것이다.
종래 시각 장애인용 길 안내 장치에 관련해서는, 한국등록실용 제20-0414445호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다.
상기한 선행문헌을 살피면, 위치정보데이터가 RFIC태그 형태로 저장된 표지블록을 이용하여 시각장애인에게 길안내를 하는 길안내 장치에 있어서, 상기 길안내 장치에 내장되어 사용자의 움직임에 따른 정지상태를 감지하는 정지감지센서; 상기 표지블록에 무선전원전파를 인가하여 표지블록을 활성화하고 상기 표지블록으로부터 위치정보데이터를 수신받는 안테나부; 상기 안테나부를 통해 수신되는 위치정보데이터를 사전 설정된 암호화 알고리즘으로 비교 및 분석하여 디코딩하는 디코더; 상기 디코더를 통해 추출된 위치정보를 저장하거나 외부로부터 입력되는 각종 정보들을 저장하는 메모리; 상기 위치정보데이터를 제공받거나 메모리에 저장된 각종 데이터를 제공받아 음성신호로 합성변환하는 음성합성변환부; 상기 음성합성변환된 신호를 음성으로 들을 수 있도록 출력하는 음성출력부; 및 상기 정지감지센서를 통해 정지감지신호가 출력되면 안테나부로 구동제어신호를 출력함과 아울러 표지블록으로부터 전달된 위치정보를 음성출력부로 전달 제어하는 마이콤; 을 포함한다.
그러나, 선행문헌을 포함한 종래 기술은, 사용자가 교차로 등의 위험한 위치에 위치한 상황이거나, 장애물을 인식할 경우, 사용자에게 안전한 회피 경로를 제시할 수 없는 한계가 있었다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 시각 장애인용 케인 전방에 부착된 카메라를 통해 현재 위치에 따른 상황 및 장애물에 관한 영상을 입력받음으로써, 사용자가 교차로 등의 위험한 위치에 위치한 상황이거나, 장애물을 인식할 경우, 촉각 인터페이스를 통해 사용자에게 회피 경로를 제시할 수 있는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템을 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템에 관한 것으로서, 사용자의 현재 위치 및 주변 상황 인식을 위한 영상을 입력받는 영상 입력부; 상기 영상 입력부를 통해 입력된 영상을 바탕으로, 사용자의 현재 위치를 교차로와 보도로 분류하는 상황 인식부; 상기 영상 입력부를 통해 입력된 영상을 바탕으로 장애물을 분류하고 회피 경로를 결정하는 장애물 인식부; 및 상기 상황 인식부를 통해 판단된 교차로 또는 보도 상황 및 상기 장애물 인식부를 통해 결정된 경로에 따라 진동을 발생시켜, 사용자에게 전달하는 촉각 인터페이스부; 를 포함한다.
또한 상기 상황 인식부는, 가우시안 필터링(gaussian filter) 및 히스토그램 평활화(histogram equalization)를 이용하여 입력된 영상을 전처리하여, 서브 영역을 추출하는 전처리모듈; 기울기 히스토그램(Histogram of Oriented Gradient: HOG)과 색 정보를 이용하여 입력된 영상 내 서브 영역의 가장자리를 추출하는 가장자리 추출모듈; 및 상기 가장자리 추출모듈을 통해 추출된 가장자리의 기울기를 분석하여, 현재 상황을 교차로 또는 보도로 판단하는 상황 판단모듈; 을 포함하는 것을 특징으로 한다.
또한 상기 가장자리 추출모듈은, 기울기 히스토그램(HOG)을 이용하여 입력된 영상 내 서브 영역을 추출하며, 평균 채도 값(Saturation)을 이용하여 가장자리를 포함하는 서브 영역을 분류함으로써, 가장자리를 추출하는 것을 특징으로 한다.
또한 상기 상황 판단모듈은, 상기 가장자리 추출모듈을 통해 추출된 가장자리의 기울기가 수평하게 분포될 경우 교차로로 판단하고, 수직하게 분포될 경우 보도로 판단하는 것을 특징으로 한다.
또한 상기 상황 판단모듈은, 상기 가장자리 추출모듈을 통해 가장자리를 포함하는 서브 영역으로 분류된 영상의 X축과 Y축을 프로젝션시켜, 수평한 히스토그램과 수직한 히스토그램을 산출하고, 수평한 히스토그램 및 수직한 히스토그램의 값과, 각각의 경계 값과의 비교를 통해 교차로 또는 보도로 판단하는 것을 특징으로 한다.
또한 상기 장애물 인식부는, 상기 영상 입력부를 통해 입력된 영상 및 온라인 학습을 이용한 배경 모델을 이용하여 장애물을 분류하고, 점유 그리드 맵을 생성하는 장애물 분류모듈; 및 학습을 통한 신경망을 이용하여 생성된 점유 그리드 맵(OGM)의 가장 높은 값을 갖는 노드의 방향을 선택함으로써 경로를 결정하는 경로 결정모듈; 을 포함하는 것을 특징으로 한다.
또한 상기 장애물 분류모듈은, 온라인 학습을 이용한 배경 모델을 추산하며, 추산된 배경 모델을 바탕으로 입력된 영상의 모든 픽셀의 색상 히스토그램의 값과 색조 임계값과의 비교, 또는 픽셀의 농도 히스토그램의 값과 농도 임계값과의 비교를 통해 장애물로 분류하며, 점유 그리드 맵(Occupancy Grid Map: OGM)을 생성하는 것을 특징으로 한다.
또한 상기 촉각 인터페이스부는, 상기 상황 인식부를 통해 판단된 상황 및 장애물 인식부를 통해 결정된 경로에 따라 이동 가능한 방향 정보에 대한 디지털 신호를 제어기에 전송하는 통신기; 이동 가능한 방향 정보를 컴파일(compile)하여 모터 구동에 관한 핀 제어신호를 제어기에 저장하는 다운로더기; 다수개의 핀이 구성되어 있으며, 상기 다운로더기를 통해 전송된 핀 제어신호 및 상기 통신기를 통해 전송된 이동 가능한 방향 정보를 바탕으로, 각 핀에서 드라이브 신호를 생성하여, 해당 모터의 진동을 발생시키는 제어기; 및 적어도 하나 이상의 모터로 구성되어, 상기 제어기의 각 핀에 대한 드라이브 신호에 따라 진동하는 모터; 를 포함하는 것을 특징으로 한다.
그리고 상기 통신기는, 블루투스 통신모듈인 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 교차로 등의 위험한 위치에 위치한 상황이거나, 장애물을 인식할 경우, 회피 경로를 결정하여 촉각 인터페이스를 통해 사용자에게 전달함으로써, 시각 장애인을 안전한 방향으로 보행하도록 유도할 수 있는 효과가 있다.
도 1 은 본 발명의 일실시예에 따른 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명의 일실시예에 따른 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템이 시각 장애인용 케인에 부착 또는 설치된 모습을 보이는 일예시도.
도 3 은 본 발명의 일실시예에 따른 상황 인식부의 가장자리 추출모듈을 통한 분류 결과를 보이는 일예시도.
도 4 는 본 발명의 일실시예에 따른 상황 인식부의 상황 판단모듈을 통해 어떻게 현재 상황을 판단하는지를 보이는 일예시도.
도 5 는 본 발명의 일실시예에 따른 장애물 인식부의 장애물 분류모듈을 통한 장애물 분류 결과에 관한 일예시도.
도 6 은 본 발명의 일실시예에 따른 장애물 인식부의 경로 결정모듈을 통한 경로 결정 결과를 보이는 일예시도.
도 7 은 본 발명의 일실시예에 따른 촉각 인터페이스모듈에 관한 세부 구성도.
도 8 은 본 발명의 일실시예에 따른 모터를 구동하기 위한 촉각 인터페이스부의 전기회로를 보이는 일예시도.
도 9 는 본 발명의 일실시예에 따른 촉각 인터페이스부를 실제 구현한 모습을 보이는 일예시도.
도 10 은 본 발명의 일실시예에 따른 촉각 인터페이스부의 모터의 위치를 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명의 일실시예에 따른 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템에 관하여 도 1 내지 도 10 을 참조하여 설명하면 다음과 같다.
도 1 은 본 발명의 일실시예에 따른 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 영상 입력부(100), 상황 인식부(200), 장애물 인식부(300) 및 촉각 인터페이스부(400)를 포함하여 이루어지며, 도 2 에 도시된 바와 같이 시각 장애인용 케인(Cane)(10)에 부착 또는 설치될 수 있는 것으로 이해하는 것이 바람직하다.
영상 입력부(100)는 웹 카메라(web camera)를 포함하여 이루어져, 사용자의 현재 위치 및 주변 상황 인식을 위한 영상을 입력받는다. 이때, 웹 카메라는 케인(Cane)(10)의 전방으로 설치될 수 있다.
상황 인식부(200)는 케인(Cane)(10)의 세로방향 중단에 부착 또는 설치된 것으로, 영상 입력부(100)를 통해 입력된 영상을 바탕으로, 사용자의 현재 위치를 교차로와 보도로 분류하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 전처리모듈(210), 가장자리 추출모듈(220) 및 상황 판단모듈(230)을 포함한다.
전처리모듈(210)은 가우시안 필터링(gaussian filter) 및 히스토그램 평활화(histogram equalization)를 이용하여 입력된 영상을 전처리한다. 여기서, 입력된 영상의 크기는 640*480이며, 이러한 전처리모듈(210)을 통해 20*20크기의 768개의 서브 영역이 추출된다.
가장자리 추출모듈(220)은 기울기 히스토그램(Histogram of Oriented Gradient: HOG)과 색 정보를 이용하여 입력된 영상 내 서브 영역의 가장자리를 추출한다.
가장자리를 추출하기 위한 가장 좋은 방법은 에지 검출이다. 보도와 차도 사이의 경계선을 검출하기 위해, 본 발명에서는 서브 영역의 텍스쳐 특징을 사용하되, 상술한 바와 같이, 기울기 히스토그램(Histogram of Oriented Gradient: HOG)과 색 정보(Saturation)를 특징 값으로 사용한다.
여기서, 기울기 히스토그램(Histogram of Oriented Gradient: HOG)은, 영상 내 서브 영역의 기울기 발생 횟수에 대한 특징 변수이다. 또한, 차도의 서브 영역 안 픽셀들은 독특한 채도 분포를 가지고 있다.
따라서, 본 발명에 따른 가장자리 추출모듈(220)은, 다음의 [수식 1] 과 같이 기울기 히스토그램(HOG)과 평균 채도 값(Saturation)을 이용하여 서브 영역의 가장자리를 추출한다.
[수식 1]
Figure 112012107711037-pat00001
여기서, Area(R)은 해당되는 서브 영역(sub-region)을 의미하며, p(j)는 각 필셀 당 기울기 값을 의미하고, φ는 누적된 기울기 개수를 의미한다. Ri 는 빨간색, Gi 는 초록색, Bi 는 파란색 픽셀의 색상을 의미한다.
또한, 가장자리 추출모듈(220)은 아래의 두 조건을 만족할 경우, 해당 서브 영역은 가장자리에 있는 영역인 것으로 판단하여 추출한다.
1)
Figure 112012107711037-pat00002
의 분산이 미리 정의한 경계 값(
Figure 112012107711037-pat00003
) 보다 클 경우.
2)
Figure 112012107711037-pat00004
이 경계 값(
Figure 112012107711037-pat00005
) 보다 작을 경우.
도 3 은 가장자리 추출모듈(220)을 통한 분류 결과를 보이는 일예시도로서, (a) 는 원본 영상이며, (b) 는 Sobel operator가 적용된 영상이고, (c) 는 기울기 히스토그램(HOG)을 이용하여 추출된 서브 영역을 보이는 영상이며, (d) 는 평균 채도 값(Saturation)을 이용하여 서브 영역에 포함된 가장자리를 추출한 영상이다.
정리하면, 가장자리 추출모듈(220)은 입력된 영상에서 Sobel operator를 적용하고, 기울기 히스토그램(HOG)을 이용하여 입력된 영상 내 서브 영역을 추출하며, 평균 채도 값(Saturation)을 이용하여 가장자리를 포함하는 서브 영역을 분류함으로써, 가장자리를 추출할 수 있다. 즉, 최종적으로 분류된 서브 영역은 정확히 가장자리를 포함한다.
상황 판단모듈(230)은 가장자리 추출모듈(220)을 통해 추출된 가장자리의 기울기를 분석하여, 현재 상황을 판단한다. 즉, 가장자리 추출모듈(220)을 통해 추출된 가장자리의 기울기가 수평하게 분포될 경우 교차로로 판단하고, 수직하게 분포될 경우 보도로 판단한다.
구체적으로, 상황 판단모듈(230)은 가장자리 추출모듈(220)을 통해 가장자리를 포함하는 서브 영역으로 분류된 영상의 X축과 Y축을 프로젝션시켜, 수평한 히스토그램과 수직한 히스토그램을 산출하고, 수평한 히스토그램 및 수직한 히스토그램의 값과, 각각의 경계 값과의 비교를 통해 교차로 또는 보도로 판단한다.
이때, 경계 값과의 비교는 다음의 세 가지 조건으로 구분된다.
1) 교차로는 수평한 히스토그램의 값이 경계 값보다 더 크다.
2) 교차로는 수직한 히스토그램이 고르지 않게 분포한다.
3) 보도는 수직한 히스토그램이 경계 값 보다 큰 분산을 갖는다.
도 4 는 상황 판단모듈(230)을 통해 어떻게 현재 상황을 판단하는지를 보이는 일예시도로서, (a) 는 가장자리 추출모듈(220)을 통해 가장자리를 포함하는 서브 영역으로 분류된 영상을 Y축으로 프로젝션 시킨 결과이며, (b) 는 X축으로 프로젝션 시킨 결과이다. 도시된 바와 같이 (a) 의 윗 그림은 큰 분산의 수직 히스토그램이다. 따라서, 이 영상은 보도로 판단한다. 반면, (a) 의 아래의 그림은 수평 히스토그램의 값이 경계 값 보다 크기 때문에 교차로로 판단한다.
장애물 인식부(300)는 케인(Cane)(10)의 세로방향 중단에 부착 또는 설치된 것으로, 영상 입력부(100)를 통해 입력된 영상을 바탕으로 장애물을 분류하고 회피 경로를 결정하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 장애물 분류모듈(310) 및 경로 결정모듈(320)을 포함한다.
장애물 분류모듈(310)은 영상 입력부(100)를 통해 입력된 영상 및 온라인 학습을 이용한 배경 모델을 이용하여 장애물을 분류하고, 점유 그리드 맵을 생성한다.
구체적으로, 장애물 분류모듈(310)은 온라인 학습을 이용한 배경 모델을 추산하며, 추산된 배경 모델을 바탕으로 입력된 영상의 모든 픽셀의 색상 히스토그램의 값과 색조 임계값과의 비교, 또는 픽셀의 농도 히스토그램의 값과 농도 임계값과의 비교를 통해 장애물로 분류하며, 점유 그리드 맵(Occupancy Grid Map: OGM)을 생성한다.
이때, 배경 모델은 사용자가 배경에 서있다고 가정하며, 도 5 의 (a) 와 같이 사용자 앞에 사다리꼴 영역이 배경 모델을 추정하는 기준으로 사용된다. 연속된 프레임의 다섯 개의 참조 영역 내에서 OR 연산을 사용하여 배경 모델로 사용된다. 새로운 프레임이 입력되면 이 프로세서는 지속적으로 업데이트 된다.
또한, 배경 모델을 바탕으로 장애물 분류는 모든 픽셀에 대해 수행되며, 다음 두 조건 중 하나가 만족되는 경우 장애물로 분류된다.
첫째, 픽셀의 색조 값이 있는 색상 히스토그램의 값이 색조 임계값 아래에 있다. 둘째, 픽셀의 농도 값이 있는 농도 히스토그램의 값이 농도 임계값 아래에 있다. 장애물에 해당하는 픽셀은 '1'로 배경에 해당하는 픽셀은 '0'으로 표시된다.
이와 같이, 도 5 의 (d) 와 같은 바이너리 이미지로 생성된 점유 그리드 맵(OGM)을 생성한다. 점유 그리드 맵(OGM)의 각 셀은 10ㅧ10 픽셀에 해당하고, 32ㅧ24크기의 점유 그리드 맵(OGM)은 320ㅧ240으로 입력된 프레임에 의해 생성된다.
각 셀의 그레이 값은 0부터 9까지 값을 가진다. 셀의 그레이 값은 10ㅧ10 픽셀영역에서 장애물로 분류된 픽셀 개수ㅧ0.1하여 결정된다. 따라서, 밝은 값이 더 위험한 지역을 의미한다.
도 5 는 장애물 분류모듈(310)을 통한 장애물 분류 결과에 관한 일예시도로서, 도 5 의 (a) 는 입력 영상이며, (b) 는 배경 모델 결과로서, 색조 히스토그램(좌)과 농도 히스토그램(우)이며, (c) 와 (d) 는 각각 장애물 분류 결과와 생성된 점유 그리드 맵(OGM)이다.
한편, 사람 인지의 경우, 안전한 경로를 결정하는 것은 대부분은 경계나 장애물과 같은 장면에서 추출한 시각적 단서에 의존한다.
따라서, 본 발명에 따른 경로 결정모듈(320)은 자동으로 이러한 특성을 포착하기 위해 신경망을 이용한다. 이러한 신경망은 입력층, 은닉층, 출력층으로 구성되어 있다. 입력층은 32ㅧ24 점유 그리드 맵(OGM)의 모든 그레이 값이 입력되며, 출력층은 4가지 방향에 해당하는 하나의 유력한 노드로 구성된다. 은닉층는 실험을 통해 결정된 노드의 수를 추출 모듈로 사용한다.
인접한 계층이 완전히 연결되고, 노드 간의 가중치는 역전파 알고리즘을 사용하여 학습 단계에서 조정하였고, 제곱 오류의 합을 최소화 하였다. 대표적인 샘플을 수집하는 것은 구조적으로 복잡하고, 시간에 따라 다양한 빛으로 인해 어렵다.
따라서, 80,000장의 실내외 이미지를 한 해 동안 수집하고 모든 이미지는 네 가지 가능한 방향으로 사용하여 분류하였다. 이러한 이미지 중, 400장을 신경망을 학습하는데 사용되었고, 다른 이미지들은 본 시스템을 평가하는데 사용되었다. 학습 후, 출력 노드의 값은 0부터 1까지 네 개의 부동 소수점 숫자의 벡터로 주어진다.
따라서, 경로 결정모듈(320)은 학습을 통한 신경망을 이용하여 생성된 점유 그리드 맵(OGM)의 가장 높은 값을 갖는 노드의 방향을 선택함으로써 경로를 결정한다.
도 6 은 경로 결정모듈(320)을 통한 경로 결정 결과를 보이는 일예시도로서, 도 6 의 (a) 는 실험 데이터로서 입력 영상이며, (b) 는 각각의 입력 영상에 대하여 생성된 점유 그리드 맵(OGM)이며, (c) 는 생성된 점유 그리드 맵(OGM)의 신경망을 이용한 출력된 노드 값을 보이는 일예시도이다.
촉각 인터페이스부(400)는 케인(Cane)(10)의 세로방향 중단에 부착 또는 설치된 것으로, 상황 인식부(200)를 통해 판단된 교차로 또는 도로 상황 및 장애물 인식부(300)를 통해 결정된 경로에 따라 진동을 발생시켜, 사용자에게 전달하는 기능을 수행하는 바, 도 7 에 도시된 바와 같이 통신기(410), 다운로더기(420), 제어기(430) 및 모터(440)를 포함한다.
통신기(410)는 블루투스 통신모듈로서, 상황 인식부(200)를 통해 판단된 상황 및 장애물 인식부(300)를 통해 결정된 경로에 따라 이동 가능한 방향 정보에 대한 디지털 신호를 제어기(430)에 전송하며, 다운로더기(420)는 이동 가능한 방향 정보를 컴파일(compile)하여 모터 구동에 관한 핀 제어신호를 제어기(430)에 저장한다.
또한, 제어기(430)(MCU)는 다수개의 핀이 구성되어 있으며, 다운로더기(420)를 통해 전송된 핀 제어신호 및 통신기(410)를 통해 전송된 이동 가능한 방향 정보를 바탕으로, 각 핀에서 드라이브 신호를 생성하여, 해당 모터(440)의 진동을 발생시키며, 이러한 진동은 사용자에게 전달된다.
이때, 촉각 인터페이스부(400)는 다수개, 바람직하게 다섯 개의 작은 모터로 구동하는 간단한 촉각 인터페이스로서, 상황에 따라, 위험상황(Dangerous), 직진(Go), 좌(Left), 우(Right), 정지(Stop)의 다섯 가지 신호를 줄 수 있다. 즉, 1번 모터는 위험상황, 2번 모터는 직진, 3번 모터는 좌, 4번 모터는 우, 5번 모터는 정지로 설정될 수 있다.
도 8 은 모터를 구동하기 위한 촉각 인터페이스부의 전기회로를 보이는 일예시도로서, 전해 콘덴서(capacitors)는 전력 요소와 전압을 개선하기 위해서 사용하며, 트랜지스터는 전기적 스위치로 사용한다. 그 외의 전압은 드라이버 모터와 제어기(430)를 구동하는데 사용한다. 도 9 는 촉각 인터페이스부(400)를 실제 구현한 모습을 보이는 일예시도이다.
한편, 본 실시예에서, 블루투스 통신을 이용하는 것으로 설정하였으나, 본 발명이 이에 한정되는 것은 아닌 바, 다양한 통신 방식이 적용 가능하다. 또한 본 실시예에서, 다섯 가지의 신호를 줄 수 있는 것으로 설정하였으나, 본 발명이 이에 한정되는 것은 아닌 바, 사용자의 보행 상황에 따라 다양하게 설계 변경 가능하다. 그리고, 본 실시예에서, 진동을 이용한 촉각으로 신호를 전달하는 것으로 설정하였으나, 본 발명이에 한정되는 것은 아닌 바, 소리로 신호를 출력하는 것으로도 가능하다.
도 10 은 촉각 인터페이스부(400)의 모터의 위치를 보이는 일예시도로서, 도시된 바와 같이 촉각 인터페이스부(400)의 5개의 모터(440)가 손잡이 부분의 손가락이 닿는 곳에 위치할 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
100: 영상 입력부 200: 상황 인식부
300: 장애물 인식부 400: 촉각 인터페이스부
210: 전처리모듈 220: 가장자리 추출모듈
230: 상황 판단모듈 310: 장애물 분류모듈
320: 경로 결정모듈 410: 통신기
420: 다운로더기 430: 제어기
440: 모터

Claims (9)

  1. 사용자의 현재 위치 및 주변 상황 인식을 위한 영상을 입력받는 영상 입력부(100);
    상기 영상 입력부(100)를 통해 입력된 영상을 바탕으로, 사용자의 현재 위치를 교차로와 보도로 분류하는 상황 인식부(200);
    상기 영상 입력부(100)를 통해 입력된 영상을 바탕으로 장애물을 분류하고 회피 경로를 결정하는 장애물 인식부(300); 및
    상기 상황 인식부(200)를 통해 판단된 교차로 또는 보도 상황 및 상기 장애물 인식부(300)를 통해 결정된 경로에 따라 진동을 발생시켜, 사용자에게 전달하는 촉각 인터페이스부(400); 를 포함하되,
    상기 촉각 인터페이스부(400)는,
    상기 상황 인식부(200)를 통해 판단된 상황 및 장애물 인식부(300)를 통해 결정된 경로에 따라 이동 가능한 방향 정보에 대한 디지털 신호를 제어기(430)에 전송하는 통신기(410);
    이동 가능한 방향 정보를 컴파일(compile)하여 모터 구동에 관한 핀 제어신호를 제어기(430)에 저장하는 다운로더기(420);
    다수개의 핀이 구성되어 있으며, 상기 다운로더기(420)를 통해 전송된 핀 제어신호 및 상기 통신기(410)를 통해 전송된 이동 가능한 방향 정보를 바탕으로, 각 핀에서 드라이브 신호를 생성하여, 해당 모터(440)의 진동을 발생시키는 제어기(430); 및
    적어도 하나 이상의 모터로 구성되어, 상기 제어기(430)의 각 핀에 대한 드라이브 신호에 따라 진동하는 모터(440); 를 포함하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  2. 제 1 항에 있어서,
    상기 상황 인식부(200)는,
    가우시안 필터링(gaussian filter) 및 히스토그램 평활화(histogram equalization)를 이용하여 입력된 영상을 전처리하여, 서브 영역을 추출하는 전처리모듈(210);
    기울기 히스토그램(Histogram of Oriented Gradient: HOG)과 색 정보를 이용하여 입력된 영상 내 서브 영역의 가장자리를 추출하는 가장자리 추출모듈(220); 및
    상기 가장자리 추출모듈(220)을 통해 추출된 가장자리의 기울기를 분석하여, 현재 상황을 교차로 또는 보도로 판단하는 상황 판단모듈(230); 을 포함하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  3. 제 2 항에 있어서,
    상기 가장자리 추출모듈(220)은,
    기울기 히스토그램(HOG)을 이용하여 입력된 영상 내 서브 영역을 추출하며, 평균 채도 값(Saturation)을 이용하여 가장자리를 포함하는 서브 영역을 분류함으로써, 가장자리를 추출하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  4. 제 2 항에 있어서,
    상기 상황 판단모듈(230)은,
    상기 가장자리 추출모듈(220)을 통해 추출된 가장자리의 기울기가 수평하게 분포될 경우 교차로로 판단하고, 수직하게 분포될 경우 보도로 판단하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  5. 제 2 항 또는 제 4 항에 있어서,
    상기 상황 판단모듈(230)은,
    상기 가장자리 추출모듈(220)을 통해 가장자리를 포함하는 서브 영역으로 분류된 영상의 X축과 Y축을 프로젝션시켜, 수평한 히스토그램과 수직한 히스토그램을 산출하고, 수평한 히스토그램 및 수직한 히스토그램의 값과, 각각의 경계 값과의 비교를 통해 교차로 또는 보도로 판단하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  6. 제 1 항에 있어서,
    상기 장애물 인식부(300)는,
    상기 영상 입력부(100)를 통해 입력된 영상 및 온라인 학습을 이용한 배경 모델을 이용하여 장애물을 분류하고, 점유 그리드 맵을 생성하는 장애물 분류모듈(310); 및
    학습을 통한 신경망을 이용하여 생성된 점유 그리드 맵(OGM)의 가장 높은 값을 갖는 노드의 방향을 선택함으로써 경로를 결정하는 경로 결정모듈(320); 을 포함하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  7. 제 6 항에 있어서,
    상기 장애물 분류모듈(310)은,
    온라인 학습을 이용한 배경 모델을 추산하며, 추산된 배경 모델을 바탕으로 입력된 영상의 모든 픽셀의 색상 히스토그램의 값과 색조 임계값과의 비교, 또는 픽셀의 농도 히스토그램의 값과 농도 임계값과의 비교를 통해 장애물로 분류하며, 점유 그리드 맵(Occupancy Grid Map: OGM)을 생성하는 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 통신기(410)는,
    블루투스 통신모듈인 것을 특징으로 하는 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템.





KR1020120153135A 2012-12-26 2012-12-26 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템 KR101435546B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120153135A KR101435546B1 (ko) 2012-12-26 2012-12-26 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120153135A KR101435546B1 (ko) 2012-12-26 2012-12-26 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템

Publications (2)

Publication Number Publication Date
KR20140087091A KR20140087091A (ko) 2014-07-09
KR101435546B1 true KR101435546B1 (ko) 2014-09-16

Family

ID=51736052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120153135A KR101435546B1 (ko) 2012-12-26 2012-12-26 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템

Country Status (1)

Country Link
KR (1) KR101435546B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649720B1 (ko) * 2016-12-22 2024-03-20 에스케이플래닛 주식회사 정보안내장치 및 그 동작 방법
KR101922852B1 (ko) * 2017-01-10 2018-11-28 (주)베라시스 영상 기반 색상정보를 이용한 초지 경계 검출 방법
AT520579B1 (de) * 2017-09-26 2022-07-15 Tec Innovation Gmbh Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110020566A (ko) * 2009-08-24 2011-03-03 성균관대학교산학협력단 시각장애인 보행 안내 시스템
KR20130039720A (ko) * 2010-02-24 2013-04-22 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110020566A (ko) * 2009-08-24 2011-03-03 성균관대학교산학협력단 시각장애인 보행 안내 시스템
KR20130039720A (ko) * 2010-02-24 2013-04-22 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Proceeding Assets '09 Proceedings of the 11th international ACM SIGACCESS conference on Computers and accessibility, Pages 237-238, ACM New York, NY, USA ?2009
Proceeding Assets '09 Proceedings of the 11th international ACM SIGACCESS conference on Computers and accessibility, Pages 237-238, ACM New York, NY, USA ⓒ2009 *
황지혜 외 3명, "EYECANE: 시각 장애인을 위한 지능형 상황인식기", 한국정보과학회 학술발표논문집 39(2B), p.189-191, 2012.11 *
황지혜 외 3명, "EYECANE: 시각 장애인을 위한 지능형 상황인식기", 한국정보과학회 학술발표논문집 39(2B), p.189-191, 2012.11*

Also Published As

Publication number Publication date
KR20140087091A (ko) 2014-07-09

Similar Documents

Publication Publication Date Title
EP1553516B1 (en) Pedestrian extracting apparatus
Pless et al. Evaluation of local models of dynamic backgrounds
CN108082037A (zh) 制动灯检测
KR20190036844A (ko) 주행 차로를 식별하는 방법 및 장치
KR20180135898A (ko) 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
EP2960829A2 (en) Lane boundary estimation device and lane boundary estimation method
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
KR20130043222A (ko) Tv 제어용 제스처 인식 시스템
EP2309454B1 (en) Apparatus and method for detecting motion
JP2008021034A (ja) 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
Uy et al. Automated traffic violation apprehension system using genetic algorithm and artificial neural network
KR20160135482A (ko) 동적 장애물 움직임 예측 장치 및 그 방법
KR20110046607A (ko) 차선검출방법 및 이를 이용한 차선이탈검출시스템
CN109034136A (zh) 图像处理方法、装置、摄像设备及存储介质
JP2005316607A (ja) 画像処理装置及び画像処理方法
KR101435546B1 (ko) 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
Sebanja et al. Automatic detection and recognition of traffic road signs for intelligent autonomous unmanned vehicles for urban surveillance and rescue
KR20220032681A (ko) 노상 주차장의 주차 관리 방법
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
Huu et al. Proposing lane and obstacle detection algorithm using YOLO to control self-driving cars on advanced networks
KR101372544B1 (ko) 사용자 제스처 및 상황 인식을 이용한 지능형 휠체어 제어 시스템
Söveny et al. Blind guide-A virtual eye for guiding indoor and outdoor movement
WO2020059564A1 (ja) 情報処理方法、プログラム、および情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170821

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180813

Year of fee payment: 5