KR20150098560A - 사용자 안전을 위한 휠체어 로봇 및 그 제어 방법 - Google Patents

사용자 안전을 위한 휠체어 로봇 및 그 제어 방법 Download PDF

Info

Publication number
KR20150098560A
KR20150098560A KR1020140190766A KR20140190766A KR20150098560A KR 20150098560 A KR20150098560 A KR 20150098560A KR 1020140190766 A KR1020140190766 A KR 1020140190766A KR 20140190766 A KR20140190766 A KR 20140190766A KR 20150098560 A KR20150098560 A KR 20150098560A
Authority
KR
South Korea
Prior art keywords
user
manipulator
silhouette
safety
wheelchair
Prior art date
Application number
KR1020140190766A
Other languages
English (en)
Inventor
현창호
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Publication of KR20150098560A publication Critical patent/KR20150098560A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Nursing (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 휠체어 로봇의 제어 방법은, 비젼센서 기반 단독 카메라를 이용하여 사용자 영상을 취득하는 단계, 상기 사용자 영상으로부터 사용자 상반신을 추출하는 단계, 상기 사용자 상반신 동작을 수집하여 데이터베이스 처리하는 단계, 실시간 상기 사용자 상반신 영상을 취득하여 상기 사용자 상반신 동작을 분석하는 단계, 상기 데이터베이스 처리되는 상반신 동작과 상기 실시간으로 처리되는 상반신 동작을 대비하여 사용자 동작 실루엣을 인식하는 단계, 및 상기 사용자 동작 실루엣을 기초로 상기 사용자 상반신 동작이 비정상적인 경우 상기 사용자에게 이 사실을 경고하는 단계를 포함한다.

Description

사용자 안전을 위한 휠체어 로봇 및 그 제어 방법 {Wheel chair robot for user's safety and control method thereof}
본 발명은, 지능형 휠체어 구조 및 사용자 안전 확보를 위한 휠체어 로봇 제어 방법에 관한 것으로, 특히 어시스턴트 메니퓰레이터에 장착되어 있는 거리 감지센서를 사용하여 사용자의 안전영역을 설정 가능하고 안전 영역 밖에서만 메니퓰레이터의 경로가 생성되도록 하며, 사용자감시용 비젼 센서를 이용하여 메니퓰레이터의 사용자 안전 영역 침범을 2차적으로 감시하고 사용자의 표정 또는 실루엣 변화를 통해 이상감지를 수행하는 제어 방법에 관한 것이다.
일반적으로 휠체어 로봇의 대부분은 일반 휠체어가 가지 못하는 지형을 지날 수 있도록 하는 기구적 해결책을 제시하거나 자율 주행을 목적으로 한 기술 개발이 대부분이다.
다른 기술로는 사용자가 장애로 인해 보행등의 재활이 필요할 경우, 이를 도와줄 수 있는 휠체어 로봇의 개발이 진행되어 왔다. 그러나 거동이 불편한 사용자의 생활을 도와주는 도우미 역할이 추가된 휠체어 로봇은 단순한 메니퓰레이터의 추가에서 그쳤을 뿐, 그로 인한 사용자의 안전 위협에 대한 기술 개발은 진행이 되지 않고 있다.
한국공개특허 10-2014-0002826
따라서 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 어시스턴트 메니퓰레이터의 자율성 확보와 그로인한 사용자 위험을 방지하는 수동적 능동적 감지센서를 이용한 사용자 안전영역을 생성하여 안전영역을 고려한 메니퓰레이터의 움직임 제어기술을 개발하고 사용자의 상태를 파악할 수 있는 실루엣의 변화나 얼굴표정 변화를 감시하는 기술을 개발하여 사용자의 건강 상태를 확인할 수 있도록 한다.
전술한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명의 휠체어 로봇은 휠체어, 상기 휠체어의 일측에 장착되는 어시스턴트 메니퓰레이터, 및 상기 휠체어의 타측에 장착되는 사용자감시용 비젼센서를 포함한다.
위에서 설명한 바와 같이, 본 발명의 구성에 의하면 다음과 같은 효과를 기대할 수 있다.
재활 로봇이 아닌 실생활에서 사용될 휠체어 로봇의 패러다임이 구동성을 강조하는 로봇 중심의 개발에서 사용자 중심의 휠체어 로봇 개발로 휠체어 로봇 패러다임의 변화를 가져올 것으로 기대한다.
도 1은 본 발명에 의한 사용자 안전을 위한 휠체어 로봇의 구성을 나타내는 사시도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 상기한 바와 같은 구성을 가지는 본 발명에 의한 사용자 안전을 위한 휠체어 로봇의 바람직한 실시예를 첨부된 도면을 참고하여 상세하게 설명한다.
도 1을 참조하면, 본 발명의 휠체어 로봇(100)은, 휠체어(110), 휠체어(110)의 일측에 장착되는 어시스턴트 메니퓰레이터(120), 타측에 장착되는 사용자감시용 비젼센서(130)를 포함한다.
휠체어(110)는 동력으로 구동되는 전동 휠체어가 사용될 수 있다.
메니퓰레이터(120)에는 적어도 하나 이상의 거리 감지센서(122)를 이용하여 사용자(H)와 메니퓰레이터(120) 간의 거리를 감지하고, 사용자의 안전영역을 설정하며, 비젼센서(130)를 이용하여 설정된 감시영역 내의 사용자(H)를 관찰할 수 있다.
이를 통해 메니퓰레이터(120)가 사용자(H)의 안전영역을 고려한 경로를 생성할 수 있도록 하는 제어 알고리즘을 이용하여 어시스턴트 메니퓰레이터(120)의 경로를 생성하고, 메니퓰레이터(120)가 안전영역 안으로 침범하는지를 비젼센서(130)를 이용하여 2차적으로 감시한다.
또한, 비젼센서(130)를 이용하여 사용자(H)의 얼굴표정과 실루엣의 변화를 관찰하여 사용자(H)에게 발생하는 건강상의 변화나 징후를 발견하여 경고를 나타낼 수 있도록 하여 사용자(H)의 상황을 감시할 수 있다.
이하, 본 발명에 의한 사용자 안전을 위한 휠체어 로봇 제어 방법을 설명한다.
본 발명의 일 실시예에 의한 휠체어 로봇(100)을 이용하여 사용자(H)와 메니퓰레이터(120) 간의 거리를 감지하고, 사용자(H)의 안전영역을 설정하도록, 거리감지 및 안전영역 확보를 위한 방법을 제공한다.
거리감지 및 안전영역 확보 방법은 다음과 같다.
1단계: 사용자(H)의 거동이 보장되는 거리를 설정한다. 즉 거리 감지를 통해 사용자(H)의 안전영역을 설정한다.
2단계: 어시스턴트 메니퓰레이터(120)가 설정된 범위 내에 침범하는 여부를 거리 감지센서(122)를 이용하여 측정한다.
3단계: 설정된 거리를 고려한 어시스턴트 메니퓰레이터(120)의 경로를 역기구학을 이용하여 계산한다.
한편, 사용자 안전영역의 확보를 위한 메니퓰레이터(120)의 안전경로를 생성하기 위하여 다음과 같은 방법을 사용할 수 있다.
첫째, 힘 센서 기반 메니퓰레이터(120)의 안전경로를 생성할 수 있다.
사용자(H)가 가하는 힘의 크기를 측정하여 메니퓰레이터(120)의 각 조인트 토크 출력을 계산하고, 메니퓰레이터(120)의 과속으로 인한 오동작을 방지하기 위하여 메니퓰레이터(120)의 각 조인트의 가속 혹은 감속 구동 프로파일을 설계할 수 있다.
둘째, 상태관측기 기반의 센서리스(Sensorless) 전류 측정을 통하여 메니퓰레이터(120)의 안전경로를 생성할 수 있다.
가령, 상태관측기를 이용한 전류 측정을 통해 토크를 측정하고, 전술한 토크 측정값과 힘 센서를 이용한 토크 측정값 비교하여 상태관측기와 힘 센서를 결합한 메니퓰레이터(120)의 안전경로를 생성할 수 있다.
셋째, 가속도 프로파일 생성 기반 메니퓰레이터(120)의 안전경로를 생성할 수 있다.
구동요소인 메니퓰레이터(120)의 모터를 효율적으로 가/감속 제어할 수 있다. 가령, 저크(Jerk) 발생을 최소화하기 위하여 가속도 프로파일을 생성하고, 최적 토크를 이용하여 메니퓰레이터(120)의 최적의 안전경로를 설정한다.
본 발명의 다른 실시예에 의한 휠체어 로봇(100)을 이용하여 사용자(H) 상황을 감시할 수 있도록 사용자 실루엣 추출 및 인식 방법을 제공한다.
1단계: 사용자(H) 상반신 실루엣 추출 및 DB를 생성한다.
사용자(H) 안전영역 생성을 위하여 비젼센서(130)를 이용할 수 있다.
가령, 단독 카메라를 이용하여 사용자(H) 영상을 취득하고, 비젼센서(130) 기반 상반신 실루엣 추출 알고리즘을 이용할 수 있다. 이때 사람 인식을 위하여 실루엣만을 이용할 수 있다. 특히 반사나 영상의 불균일성 등의 환경 조건이나 노이즈를 해결할 수 있는 상반신 실루엣 추출 알고리즘을 이용할 수 있다.
먼저, 휠체어 사용자(H)의 동작을 수집하는 환경 구성을 실시한다. 동작 구분을 위해 실루엣 이미지를 분류하고, 이미지의 효과적 인식을 위하여 사용자(H) 상반신 동작에 대한 실루엣 이미지를 데이터베이스(DB) 처리한다.
2단계: 구축된 DB를 활용하여 사용자(H)의 행동을 분석한다.
다음, 실시간으로 사용자(H) 상반신 영상을 획득하여 휠체어 사용자(H)의 동작을 분석하고 인식한다. 구축된 데이터베이스(DB)를 이용하여 사용자(H)의 동작을 분석하고, 데이터베이스(DB)와 대비하여 사용자(H)의 동작 실루엣을 인식할 수 있다.
3단계: 사용자(H) 안전영역을 고려하여 안전경로를 생성한다.
따라서 상기 안전영역을 고려하여 메니퓰레이터(120)의 안전경로를 생성한다. 안전영역 실루엣과 사용자(H) 동작 실루엣을 매칭시켜 메니퓰레이터(120)가 안전영역을 침범하고 있는지 여부를 판단하며, 안전영역이 침범되고 있다면 사용자(H)에게 이 사실을 경고할 수 있다. 또한 안전영역과의 접선의 경사도(Gradient)를 고려하여 메니퓰레이터(120) 우회 작업의 안전경로를 생성할 수 있다.
본 발명의 다른 실시예에 의한 휠체어 로봇(100)을 이용하여 사용자(H) 상황을 감시할 수 있도록 사용자(H) 얼굴표정 인식 방법을 제공한다.
특히, 얼굴표정 인식 방법은 다음과 같다.
1단계: 6개의 기본감정을 기반으로 한 표정생성 및 검출 공간을 구성한다.
2단계: 공간상의 각 요소간의 가중치를 이용하여 현재 감정을 인식한다.
3단계: 인식된 감정을 가지고 DB로 구축되어 있는 사용자(H)의 상태를 분석한다.
이상에서 살펴본 바와 같이, 본 발명은 사용자 안전을 위하여 안전영역 밖에서만 메니퓰레이터의 경로를 생성하는 구성을 기술적 사상으로 하고 있음을 알 수 있다. 이와 같은 본 발명의 기본적인 기술적 사상의 범주 내에서, 당업계의 통상의 지식을 가진 자에게 있어서는 다른 많은 변형이 가능할 것이다.
100: 휠체어 로봇 110: 휠체어
120: 메니퓰레이터 122: 감지센서
130: 비젼센서

Claims (10)

  1. 휠체어;
    상기 휠체어의 일측에 장착되는 어시스턴트 메니퓰레이터; 및
    상기 휠체어의 타측에 장착되는 사용자감시용 비젼센서를 포함하는 것을 특징으로 하는 휠체어 로봇.
  2. 제 1 항에 있어서,
    상기 메니퓰레이터는 사용자의 안정영역을 설정하기 위하여, 상기 사용자와 상기 메니퓰레이터 간의 거리를 감지하는 적어도 하나 이상의 거리 감지센서를 포함하는 것을 특징으로 하는 휠체어 로봇.
  3. 제 2 항에 있어서,
    상기 비젼센서는 상기 메니퓰레이터가 상기 안전영역을 침범하는지 여부를 관찰하는 것을 특징으로 하는 휠체어 로봇.
  4. 제 3 항에 있어서,
    상기 비젼센서는 상기 사용자의 얼굴 표정과 실루엣의 변화를 관찰하여 상기 사용자에게 발생하는 건강상의 변화나 징후를 발견하여 경고하는 것을 특징으로 하는 휠체어 로봇.
  5. 거리 감지센서를 통해 사용자의 거동이 보장되는 안전영역을 설정하는 단계;
    메니퓰레이터가 상기 안전영역을 침범하는지 여부를 상기 거리 감지센서를 이용하여 측정하는 단계; 및
    상기 안전영역을 고려하여 상기 메니퓰레이터의 안전경로를 생성하는 단계를 포함하여 구성됨을 특징으로 하는 휠체어 로봇의 제어 방법.
  6. 제 5 항에 있어서,
    상기 안전경로를 생성하는 단계는, 상기 사용자가 가하는 힘의 크기를 측정하여 상기 메니퓰레이터의 각 조인트 토크 출력을 계산하고, 상기 메니퓰레이터의 각 조인트의 가속 구동 프로파일을 설계하여 상기 메니퓰레이터의 과속으로 인한 오동작을 방지하는 단계를 포함하여 구성됨을 특징으로 하는 휠체어 로봇의 제어 방법.
  7. 제 6 항에 있어서,
    상기 안전경로를 생성하는 단계는, 상태관측기의 전류 측정을 통해 토크를 측정하고, 상기 상태관측기를 이용한 토크 측정값과 상기 힘 센서를 이용한 토크 측정값 비교하여 상기 상태관측기와 상기 힘 센서를 결합한 메니퓰레이터의 안전경로를 생성하는 단계를 더 포함하여 구성됨을 특징으로 하는 휠체어 로봇의 제어 방법.
  8. 비젼센서 기반 단독 카메라를 이용하여 사용자 영상을 취득하는 단계;
    상기 사용자 영상으로부터 사용자 상반신을 추출하는 단계;
    상기 사용자 상반신 동작을 수집하여 데이터베이스 처리하는 단계;
    실시간 상기 사용자 상반신 영상을 취득하여 상기 사용자 상반신 동작을 분석하는 단계;
    상기 데이터베이스 처리되는 상반신 동작과 상기 실시간으로 처리되는 상반신 동작을 대비하여 사용자 동작 실루엣을 인식하는 단계; 및
    상기 사용자 동작 실루엣을 기초로 상기 사용자 상반신 동작이 비정상적인 경우 상기 사용자에게 이 사실을 경고하는 단계를 포함하여 구성됨을 특징으로 하는 휠체어 로봇의 제어 방법.
  9. 제 8 항에 있어서,
    상기 사용자 동작 실루엣을 인식하여 사용자 실루엣 인식 정보를 수집하는 단계;
    상기 사용자 실루엣 인식 정보를 이용하여 안전영역 실루엣을 생성하는 단계;
    상기 사용자 동작 실루엣과 상기 안전영역 실루엣을 매칭시켜 메니퓰레이터가 상기 안전영역을 침범하고 있는지 여부를 판단하는 단계; 및
    상기 메니퓰레이터에 의하여 상기 안전영역이 침범되고 있다면 상기 사용자에게 이 사실을 경고하는 단계를 포함하여 구성됨을 특징으로 하는 휠체어 로봇의 제어 방법.
  10. 제 9 항에 있어서,
    상기 안전영역과의 접선의 경사도(Gradient)를 고려하여 상기 메니퓰레이터의 우회 작업 경로를 생성하는 단계를 포함하여 구성됨을 특징으로 하는 휠체어 로봇의 제어 방법.
KR1020140190766A 2014-02-20 2014-12-26 사용자 안전을 위한 휠체어 로봇 및 그 제어 방법 KR20150098560A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140019891 2014-02-20
KR1020140019891 2014-02-20

Publications (1)

Publication Number Publication Date
KR20150098560A true KR20150098560A (ko) 2015-08-28

Family

ID=54059956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140190766A KR20150098560A (ko) 2014-02-20 2014-12-26 사용자 안전을 위한 휠체어 로봇 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20150098560A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105710885A (zh) * 2016-04-06 2016-06-29 济南大学 服务型移动机械手系统
CN110695957A (zh) * 2019-10-25 2020-01-17 郑州大学 一种家用助老机器人及其使用方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105710885A (zh) * 2016-04-06 2016-06-29 济南大学 服务型移动机械手系统
CN110695957A (zh) * 2019-10-25 2020-01-17 郑州大学 一种家用助老机器人及其使用方法

Similar Documents

Publication Publication Date Title
Mehta et al. Real-time driver drowsiness detection system using eye aspect ratio and eye closure ratio
Popov et al. Collision detection, localization & classification for industrial robots with joint torque sensors
Park et al. Learning-based real-time detection of robot collisions without joint torque sensors
Trkov et al. Inertial sensor-based slip detection in human walking
EP3623117A3 (en) A system or process to detect, discriminate, aggregate, track, and rank safety-related information in a collaborative workspace
De Rossi et al. Gait segmentation using bipedal foot pressure patterns
EP1480126A3 (en) Self-learning method and system for detecting abnormalities
Khadidos et al. Exogenous fault detection and recovery for swarm robotics
US10317448B2 (en) Human sensing using electric fields, and associated systems and methods
Yan et al. Data-driven human-robot coordination based walking state monitoring with cane-type robot
KR20150098560A (ko) 사용자 안전을 위한 휠체어 로봇 및 그 제어 방법
KR102337861B1 (ko) 리드 타임을 고려한 낙상 감지 장치 및 그 방법
Ramesh et al. Robot vitals and robot health: Towards systematically quantifying runtime performance degradation in robots under adverse conditions
Ding et al. Fall detection system on smart Walker based on multisensor data fusion and SPRT method
KR101643812B1 (ko) 로봇가디언모듈과 이를 이용한 로봇 안전 보장 장치 및 방법
Aliff et al. Development of smart rescue robot with image processing (iROB-IP)
Chalvatzaki et al. Estimating double support in pathological gaits using an hmm-based analyzer for an intelligent robotic walker
Sivaranjani et al. Fall assessment and its injury prevention using a wearable airbag technology
Kim et al. A case study on risk assessment for personal care robot (mobile servant robot)
Xu et al. Multi-sensor based human motion intention recognition algorithm for walking-aid robot
Najmurrokhman et al. Development of falling notification system for elderly using mpu6050 sensor and short message service
Kuo et al. The application of CMAC-based fall detection in Omni-directional mobile robot
Ostermann et al. Freed from fences-Safeguarding industrial robots with ultrasound
Salgado et al. Body fall detection with Kalman filter and SVM
Becker et al. Collision Detection for a Mobile Robot using Logistic Regression.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application