KR20220060037A - 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템 - Google Patents
스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템 Download PDFInfo
- Publication number
- KR20220060037A KR20220060037A KR1020200144694A KR20200144694A KR20220060037A KR 20220060037 A KR20220060037 A KR 20220060037A KR 1020200144694 A KR1020200144694 A KR 1020200144694A KR 20200144694 A KR20200144694 A KR 20200144694A KR 20220060037 A KR20220060037 A KR 20220060037A
- Authority
- KR
- South Korea
- Prior art keywords
- skeleton
- user
- artificial intelligence
- smart mirror
- smart
- Prior art date
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 35
- 230000002159 abnormal effect Effects 0.000 claims abstract description 75
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000005856 abnormality Effects 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 29
- 230000036760 body temperature Effects 0.000 claims description 19
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 231100000572 poisoning Toxicity 0.000 abstract description 2
- 230000000607 poisoning effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002265 prevention Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0415—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Business, Economics & Management (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Multimedia (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Primary Health Care (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Pulmonology (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Critical Care (AREA)
- Nursing (AREA)
- Emergency Medicine (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
Abstract
본 발명은 일반적으로 스마트 미러의 열화상 카메라와 스켈레톤 분석 기능, 상태감지 센서, 인공지능 서버의 동작인식 알고리즘을 이용하여 낙상이나 부동 등과 같은 비정상 상황을 빠르고 정확하게 감지하고 보호자와 의료기관에 알림으로써 노인 등과 같은 사용자에 대해 케어 서비스를 제공하는 인공지능 기반 스마트 케어 기술에 관한 것이다. 본 발명에 따르면 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용하여 시계열 동작을 인공지능 기반으로 판단하므로 비정상 상황(예: 낙상, 부동)을 정확하게 감지할 수 있는 장점이 있다. 또한, 본 발명에 따르면 비정상 상황을 빠르고 정확하게 감지하고 보호자와 의료기관에 알림으로써 사용자의 안전사고 및 독고사를 예방하거나 그 상황을 인지할 수 있도록 해주는 장점이 있다. 또한, 본 발명에 따르면 열화상 카메라를 이용하므로 사람들의 프라이버시를 보호할 수 있으면서도 스켈레톤 분석과 인공지능 기반의 추론에 의해 비정상 감지 신뢰도를 높게 유지할 수 있는 장점이 있다.
Description
본 발명은 거주공간에 설치된 스마트 미러와 상태감지 센서를 이용하는 인공지능 기반 스마트 케어 기술에 관한 것이다.
특히, 본 발명은 일반적으로 스마트 미러의 열화상 카메라와 스켈레톤 분석 기능, 상태감지 센서, 인공지능 서버의 동작인식 알고리즘을 이용하여 낙상이나 부동 등과 같은 비정상 상황을 빠르고 정확하게 감지하고 보호자와 의료기관에 알림으로써 노인 등과 같은 사용자에 대해 케어 서비스를 제공하는 인공지능 기반 스마트 케어 기술에 관한 것이다.
낙상 사고는 본인 의사와 상관없이 넘어지는 사고로서, 낙상으로 인해 각종 합병증이 발생할 수 있으며 심지어는 사망까지 이를 수 있는 위험한 사고이다. 특히 노인들의 경우에 낙상 사고에 취약하기에 노인 낙상 사고에 대해 신속하게 대처하기 위한 다양한 기술들이 제안되었다.
예를 들어, 카메라를 이용한 낙상 방지 장치가 제안된 바 있다. 이러한 카메라를 통한 낙상 방지장치는 소형 카메라와 동작감지센서(도플러 센서)를 이용하여 낙상 사고를 경보해 주는 구성으로 되어 있는데, 각 침대마다 카메라와 동작감지센서가 내장된 감시장치를 설치한 상태에서 특히 야간에 노인의 움직임을 감지할 경우에는 보호자에게 경보를 제공한다.
그러나, 종래에 카메라를 이용한 낙상 방지 장치는 판단의 정확도가 높지 않다는 문제점이 있었다. 기존에는 정적 이미지를 통해 얻어지는 노인의 자세 및 위치 정보 등을 활용하여 낙상 여부를 판단하였는데, 낙상 판단의 정확도가 낮아서 낙상이 발생하여도 경보가 제공되지 않거나 별다른 일이 없음에도 빈번하게 경보가 제공되는 문제점이 있어 활용도가 낮았다.
본 발명의 목적은 거주공간에 설치된 스마트 미러와 상태감지 센서를 이용하는 인공지능 기반 스마트 케어 기술을 제공하는 것이다.
특히, 본 발명의 목적은 일반적으로 스마트 미러의 열화상 카메라와 스켈레톤 분석 기능, 상태감지 센서, 인공지능 서버의 동작인식 알고리즘을 이용하여 낙상이나 부동 등과 같은 비정상 상황을 빠르고 정확하게 감지하고 보호자와 의료기관에 알림으로써 노인 등과 같은 사용자에 대해 케어 서비스를 제공하는 인공지능 기반 스마트 케어 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
본 발명에 따른 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템은, 사용자의 거주공간에 설치되어 열화상 카메라(110)를 통해 열화상 영상을 획득하고, 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하고, 스켈레톤 데이터를 인공지능 서버(300)로 제공하여 비정상 추론 결과를 제공받고, 사용자에 대한 바이탈 보조정보를 획득하고, 비정상 추론 결과와 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하여 외부로 제공하는 스마트 미러(100); 사용자에 대한 모션과 호흡 상태를 나타내는 바이탈 보조정보를 획득하여 스마트 미러(100)로 제공하는 상태 탐지 센서(200); 스마트 미러(100)로부터 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 제공받고 미리 머신러닝 학습된 신경망 모델부(310)를 통해 사용자에 대한 비정상 추론 결과를 생성하여 스마트 미러(100)로 제공하는 인공지능 서버(300);를 포함하여 구성된다.
본 발명에 따른 인공지능 기반 케어를 위한 스마트 미러(100)는, 해당 거주공간에 대한 열화상 영상을 획득하는 열화상 카메라(110); 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하는 스켈레톤 추출부(120); 열화상 영상에 대해 얼굴 인식을 수행하는 얼굴 인식부(130); 열화상 영상으로부터 바이탈 보조정보로서 사용자에 대한 체온 정보를 획득하는 체온 식별부(140); 스켈레톤 데이터를 인공지능 서버(300)에 제공하고, 인공지능 서버(300)로부터 스켈레톤 데이터에 대응하는 비정상 추론 결과를 제공받고, 상태 탐지 센서(200)로부터 바이탈 보조정보로서 사용자에 대한 모션 및 호흡 정보를 제공받고, 비정상 추론 결과와 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하고, 비정상 상황 판단 정보를 외부로 제공하는 비정상 상황 처리부(150);를 포함하여 구성될 수 있다.
본 발명에서 스켈레톤 추출부(120)는 열화상 영상으로부터 스켈레톤 벡터의 관절 포인트를 추출하고 시계열 스켈레톤 벡터 데이터를 구성하여 스켈레톤 데이터를 획득하도록 구성될 수 있다.
또한, 인공지능 서버(300)는, 낙상 신경망 모델을 구비하는 신경망 모델부(310); 미리 준비된 스켈레톤 데이터세트를 이용하여 신경망 모델부(310)에 대하여 연속프레임의 스켈레톤 벡터의 관절 포인트의 위치 및 속도 변화 패턴을 머신러닝 학습시키는 신경망 학습부(320); 신경망 학습부(320)에 의해 미리 학습된 신경망 모델부(310)에 대해 스마트 미러(100)로부터 제공받은 스켈레톤 데이터의 시계열 스켈레톤 벡터 데이터를 입력하여 사용자에 대한 비정상 상황 추론을 수행하는 신경망 추론부(330);를 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템의 운용 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명에 따르면 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용하여 시계열 동작을 인공지능 기반으로 판단하므로 비정상 상황(예: 낙상, 부동)을 정확하게 감지할 수 있는 장점이 있다.
또한, 본 발명에 따르면 비정상 상황을 빠르고 정확하게 감지하고 보호자와 의료기관에 알림으로써 사용자의 안전사고 및 독고사를 예방하거나 그 상황을 인지할 수 있도록 해주는 장점이 있다.
또한, 본 발명에 따르면 열화상 카메라를 이용하므로 사람들의 프라이버시를 보호할 수 있으면서도 스켈레톤 분석과 인공지능 기반의 추론에 의해 비정상 감지 신뢰도를 높게 유지할 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 스마트 미러 장치의 구성을 나타내는 블록도.
[도 2]는 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 전체 구성을 나타내는 도면.
[도 3]은 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 동작 프로세스를 나타내는 순서도.
[도 4]는 본 발명을 위한 스켈레톤 벡터의 일 예를 나타내는 도면.
[도 5]는 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 다른 실시예를 나타내는 도면.
[도 2]는 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 전체 구성을 나타내는 도면.
[도 3]은 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 동작 프로세스를 나타내는 순서도.
[도 4]는 본 발명을 위한 스켈레톤 벡터의 일 예를 나타내는 도면.
[도 5]는 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 다른 실시예를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 인공지능 기반 케어를 위한 스마트 미러 장치(100)의 구성을 나타내는 블록도이다.
본 발명에서 스마트 미러(100)는 사용자의 거주공간(예: 댁내)에 설치되어 바람직하게는 사용자와의 음성 대화 및 영상 처리를 수행하며 내부에 구비된 열화상 카메라(110)에서 촬영된 영상을 통한 낙상 감지와 인체 체온을 통한 상태를 복합적으로 확인하여 낙상 정보를 보호자와 의료기관에 통보하여 응급 상황에 대응하기 위한 장치이다.
스마트 미러(100)는 사용자의 거주공간을 촬영하며 열화상 카메라(110)를 통하여 3가지 정보를 추출한다. 첫째는 얼굴 인식을 통해서 사용자를 식별하며, 둘째는 영상 스켈레톤 분석을 통한 낙상 동작을 머신러닝 알고리즘을 이용하여 학습 분석하여 낙상을 인식하며, 셋째는 열화상 영상을 이용하여 사용자의 체온을 감지한다. 또한, 상태 탐지 센서(200)(예: UWB 센서)를 통해서 사용자의 동작의 크기와 호흡의 상태를 점검할 수 있다.
이들 정보를 통해서 스마트 미러(100)는 낙상과 부동을 판단하며 낙상 상황에서의 사용자의 상태 정보를 스마트 미러(100)를 통해서 관련 보호자 및 기관에 알람 메시지를 전달하는 기능을 수행한다. 이때, 낙상 판단 데이터를 대량으로 수집하고 낙상 여부에 대한 학습과 판단 기능인 머신러닝 기능은 바람직하게는 외부의 인공지능 서버(300)에서 수행한다.
[도 1]을 참조하면, 본 발명에 따른 스마트 미러 장치(100)는 열화상 카메라(110), 스켈레톤 추출부(120), 얼굴 인식부(130), 체온 식별부(140), 비정상 상황 처리부(150)를 포함하여 구성된다.
먼저, 열화상 카메라(110)는 해당 거주공간에 대한 열화상 영상을 획득하는 구성요소이다. 열화상 카메라(110)는 영상 이미지 뿐 아니라 체온 정보를 제공하며 영상 이미지로부터 머신러닝을 활용하여 사용자의 낙상 동작 상황과 이상 체온 상황을 판단하기에 유용하다. 일 실시예로서 열화상 카메라(110)는 열화상 생성부(111)를 구비하며, 이 경우에는 열화상 카메라(110)가 생성하는 열화상 영상은 열화상만으로 구성된다. 다른 실시예로서 열화상 카메라(110)는 열화상 생성부(111) 뿐만 아니라 평화상 생성부(112)를 구비하는데, 이 경우 열화상 영상은 열화상 뿐만 아니라 평화상(일반적인 영상)도 포함할 수 있다. 이러한 평화상은 얼굴 인식이나 스켈레톤 추출에 양호하게 사용될 수 있다.
스켈레톤 추출부(120)는 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하는 구성요소이다. 열화상 영상으로부터 스켈레톤 벡터의 관절 포인트를 추출하고 시계열 스켈레톤 벡터 데이터를 구성하여 스켈레톤 데이터를 획득한다.
얼굴 인식부(130)는 열화상 영상에 대해 사용자에 대한 얼굴 인식을 수행하는 구성요소이다. 얼굴 인식에 의해 대상자 관련 정보를 함께 전달함으로써 응급 상황에 대한 적절한 대응이 가능하도록 구성 가능하다.
체온 식별부(140)는 열화상 영상으로부터 바이탈 보조정보로서 사용자에 대한 체온 정보를 획득하는 구성요소이다. 임상 결과에 따르면 체온이 31도 이하이면 사망에 이를 위험성이 매우 높으므로 열화상 영상으로부터 체온 정보를 획득하여 비정상 상황발생 여부 판단 및 그 심각성(응급성) 판단에 고려할 수 있도록 한 것이며, 추가로 보호자와 의료기관에 제공할 수 있다.
비정상 상황 처리부(150)는 본 발명에서 스마트 미러(100)의 전반적인 동작 제어를 수행하는 구성요소이다. 구체적으로는, 열화상 영상에서 얻은 스켈레톤 데이터를 인공지능 서버(300)에 제공하고 그에 대한 응답으로서 인공지능 서버(300)로부터 스켈레톤 데이터에 대응하는 비정상 추론 결과를 제공받는다. 또한, 상태 탐지 센서(200)로부터 바이탈 보조정보로서 사용자에 대한 모션 및 호흡 정보를 제공받고, 비정상 추론 결과와 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하고, 비정상 상황 판단 정보를 외부로 제공한다.
[도 2]는 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 전체 구성을 나타내는 도면이고, [도 3]은 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 동작 프로세스를 나타내는 순서도이다.
[도 2]를 참조하면, 본 발명에 따른 인공지능 기반 스마트 케어 시스템은 스마트 미러(100), 상태 탐지 센서(200), 인공지능 서버(300), 케어 서비스 서버(400)를 포함하여 구성되며, 이를 통해 비정상 상황 경보를 보호자 단말기(500)와 의료기관 서버(600)로 제공한다. 스마트 미러(100)의 열화상 카메라(110)와 상태 탐지 센서(200)와 머신러닝 기반의 동작인식 알고리즘을 활용하여 낙상 및 부동 감지를 수행하고 보호자와 의료기관에 응급 상황을 전달하여 사용자의 안전 사고 및 독고사 예방 및 인지를 달성한다.
먼저, 스마트 미러(100)는 사용자의 거주공간에 설치되어 열화상 카메라(110)를 통해 열화상 영상을 획득하고, 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하고, 스켈레톤 데이터를 인공지능 서버(300)로 제공하여 비정상 추론 결과를 제공받고, 사용자에 대한 바이탈 보조정보를 획득하고, 비정상 추론 결과와 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하여 외부, 예컨대 보호자 단말기(500)와 의료기관 서버(600)로 제공한다. 본 발명에 따른 스마트 미러(100)의 구성 및 동작에 대해서는 [도 1]을 참조하여 상세하게 전술하였다.
상태 탐지 센서(200)는 사용자의 모션과 호흡 상태를 나타내는 바이탈 보조정보를 획득하여 스마트 미러(100)로 제공한다. 상태 탐지 센서(200)는 모션 센서부(210), 호흡 센서부(220), UWB 통신부(230)를 구비하며, 사용자의 동작의 역동성과 호흡을 체크한 후 그 정보를 UWB(Ultra Wide Band)로 실시간 제공할 수 있어 낙상 상황에서 보조적으로 모니터링 기능을 제공한다.
인공지능 서버(300)는 스마트 미러(100)로부터 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 제공받고 미리 머신러닝 학습된 신경망 모델부(310)를 통해 사용자에 대한 비정상 추론 결과를 생성하여 스마트 미러(100)로 제공한다.
신뢰성 있는 낙상 여부를 판단하기 위해서는 인공지능 서버(300)가 낙상 과정 및 바람직하게는 평소 생활 과정에서의 시계열 연속적인 자세에 대한 인공지능 학습을 통해서 낙상 여부를 판단할 수 있어야 한다. 이러한 학습은 각종 영상 정보에서 추출된 스켈레톤(skeleton) 정보의 학습 데이터세트(learnign dataset)를 기반으로 머신러닝 학습에 의해 달성 가능하다. 본 발명에서 머신러닝 기반의 낙상 학습을 위해 낙상 영상의 시계열 데이터를 활용하여 RNN(Recurrent Nueral Network) 계열의 LSTM(Long Shot Term Memory) 기반으로 모델링을 수행할 수 있으며, 연속프레임의 스켈레톤 벡터의 관절 포인트의 위치, 속도 변화의 학습하여 낙상의 신경망 모델을 만들 수 있다.
이를 위해, 본 발명에서 인공지능 서버(300)는, 낙상 신경망 모델을 구비하는 신경망 모델부(310)와, 미리 준비된 스켈레톤 데이터세트를 이용하여 신경망 모델부(310)에 대하여 연속프레임의 스켈레톤 벡터의 관절 포인트의 위치 및 속도 변화 패턴을 머신러닝 학습시키는 신경망 학습부(320)와, 신경망 학습부(320)에 의해 미리 학습된 신경망 모델부(310)에 대해 스마트 미러(100)로부터 제공받은 스켈레톤 데이터의 시계열 스켈레톤 벡터 데이터를 입력하여 사용자에 대한 비정상 상황 추론을 수행하는 신경망 추론부(330)를 구비한다.
케어 서비스 서버(400)는 스마트 미러(100)와 연동하여 본 발명에 따른 인공지능 기반 스마트 케어 서비스를 제공한다. 본 발명에서 케어 서비스 서버(400)는 스마트 미러(100), 보호자 단말기(500), 의료기관 서버(600)와 연동하여 고객 서비스를 구현하는 기술적 구성을 나타내며, 본 명세서에서는 편의상 별도의 서버 장치로 구현되는 형태로 표시하였다.
[도 3]을 참조하여 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 동작 프로세스를 살펴본다.
단계 (S100) : 먼저, 스마트 미러(100)의 열화상 카메라(110)가 해당 거주공간에 대해 열화상 영상을 생성한다.
단계 (S110) : 스마트 미러(100)의 얼굴 인식부(130)는 열화상 카메라(110)가 생성하는 열화상 영상에서 얼굴 인식을 수행한다. 본 명세서에서 얼굴 인식은 열화상 영상에서 사용자가 누구인지 구분 식별(즉, Face ID)하기 위한 구성으로 채택될 수 있다. 한편, 구현 예에 따라서는, 얼굴 인식은 일반 카메라 이미지에 비해 식별성이 부족한 열화상 영상에서 얼굴 영역을 찾고 이를 통해 사람 영역을 구분하기 위한 구성으로 채택될 수도 있다.
단계 (S120) : 스마트 미러(100)의 스켈레톤 추출부(120)는 열화상 영상에서 스켈레톤(skeleton) 데이터를 추출한다. 이를 위해, 스켈레톤 추출부(120)는 열화상 영상으로부터 스켈레톤 벡터의 관절 포인트를 추출하는데, 이는 사람의 포즈를 인식하기 위한 정보이다. [도 4]는 본 발명을 위한 스켈레톤 벡터의 일 예를 나타내는 도면이다. 또한, 스켈레톤 추출부(120)는 열화상 영상으로부터 시계열 스켈레톤 벡터(time sequence of skeleton vectors) 데이터를 구성하는데, 이는 관절의 이동 속도와 방향을 반영한 것으로서 열화상 영상 내의 사람의 모션을 인식하기 위한 정보이다. 시계열 스켈레톤 벡터 데이터는 본 발명에서 스켈레톤 데이터의 바람직한 일 실시예이다. 스켈레톤 데이터는 이후의 과정에서 인공지능 서버(300)로 제공되어 비정상 상황(낙상, 부동) 추론에 사용된다.
단계 (S130) : 스마트 미러(100)의 비정상 상황 처리부(150)는 스켈레톤 데이터를 인공지능 서버(300)에 전달한다.
단계 (S140) : 인공지능 서버(300)는 스켈레톤 데이터를 미리 학습해둔 신경말 모델부(310)에 입력하여 비정상 상황 추론을 수행하고, 그 결과를 비정상 상황 처리부(150)에 전달한다. 인공지능 서버(300)가 제공하는 비정상 추론 결과는 해당 열화상 영상 내에 사용자의 비정상 상황(예: 낙상, 부동)이 포함되어 있는지 여부에 대한 신경망 추론 결과이다. 이 추론 결과는 비정상 상황 처리부(150)에서 비정상 상황 발생여부 판단 결과로서 사용된다.
단계 (S150) : 스마트 미러(100)의 비정상 상황 처리부(150)는 사용자에 관한 체온, 모션, 호흡 정보 등의 바이탈 보조정보를 획득한다. 이러한 바이탈 보조정보는 주기적으로 획득(수집)하도록 구성할 수도 있고, 인공지능 서버(300)로부터 비정상 상황 발생이라는 추론 결과를 받았을 경우에 획득하도록 구성할 수도 있다. 구체적으로, 비정상 상황 처리부(150)는 열화상 카메라(110)가 생성하는 열화상 영상에서 사용자의 체온을 획득한다. 열화상 영상에서 온도 정보를 획득하는 구성은 열화상 카메라 분야의 주지관용 기술이므로 이에 관한 자세한 설명은 생략한다. 또한, 비정상 상황 처리부(150)는 상태 탐지 센서(200)로부터 모션(동작) 정보와 호흡 정보를 획득한다.
단계 (S160) : 스마트 미러(100)의 비정상 상황 처리부(150)는 인공지능 서버(300)가 제공한 비정상 추론 결과(비정상 발생여부 판단 결과)와 바이탈 보조정보(체온, 모션, 호흡 상태)를 종합하여 비정상 상황(응급 상황)의 심각성 및 사망 여부를 판단한다. 본 명세서에서는 이들 정보를 종합하여 '비정상 상황 판단 정보'라고 부른다.
단계 (S170) : 스마트 미러(100)의 비정상 상황 처리부(150)는 비정상 상황 판단 정보(비정상 발생여부 판단 결과, 심각성, 사망 여부)를 케어 서비스 서버(400)로 전달하며, 케어 서비스 서버(400)는 이 비정상 상황 판단 정보를 기반으로 보호자(400)와 의료기관(500)에 관련 정보를 통지한다. 구현 예에 따라서, 케어 서비스 서버(400)는 스마트 미러(100) 내에 구현될 수도 있고 혹은 인공지능 서버(300)와 일체로 구현될 수도 있다. 본 명세서에서는 편의상 외부의 별도 서버로 구현되는 형태를 도시하였다.
[도 5]는 본 발명에 따른 인공지능 기반 스마트 케어 시스템의 다른 실시예를 나타내는 도면이다.
[도 2]와 비교하면, [도 5]에 따른 실시예에서는 스마트 미러(100)와 인공지능 서버(300) 사이를 케어 서비스 서버(400)가 매개하고 있다. 이처럼 본 발명의 기술적 사항을 구현하는 시스템 토폴로지는 다양하게 나타날 수 있으며, [도 2] 및 [도 5] 외에도 다양한 시스템 구현이 가능하다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : 스마트 미러
110 : 열화상 카메라 111 : 열화상 생성부
112 : 평화상 생성부 120 : 스켈레톤 추출부
130 : 얼굴 인식부 140 : 체온 식별부
150 : 비정상 상황 처리부
200 : 상태 탐지 센서
210 : 모션 센서부 220 : 호흡 센서부
230 : UWB 통신부
300 : 인공지능 서버
310 : 신경망 모델부 320 : 신경망 학습부
330 : 신경망 추론부
400 : 케어 서비스 서버
500 : 보호자 단말기
600 : 의료기관 서버
110 : 열화상 카메라 111 : 열화상 생성부
112 : 평화상 생성부 120 : 스켈레톤 추출부
130 : 얼굴 인식부 140 : 체온 식별부
150 : 비정상 상황 처리부
200 : 상태 탐지 센서
210 : 모션 센서부 220 : 호흡 센서부
230 : UWB 통신부
300 : 인공지능 서버
310 : 신경망 모델부 320 : 신경망 학습부
330 : 신경망 추론부
400 : 케어 서비스 서버
500 : 보호자 단말기
600 : 의료기관 서버
Claims (6)
- 사용자의 거주공간에 설치되어 열화상 카메라(110)를 통해 열화상 영상을 획득하고, 상기 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하고, 상기 스켈레톤 데이터를 인공지능 서버(300)로 제공하여 비정상 추론 결과를 제공받고, 사용자에 대한 바이탈 보조정보를 획득하고, 상기 비정상 추론 결과와 상기 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하여 외부로 제공하는 스마트 미러(100);
사용자에 대한 모션과 호흡 상태를 나타내는 바이탈 보조정보를 획득하여 상기 스마트 미러(100)로 제공하는 상태 탐지 센서(200);
상기 스마트 미러(100)로부터 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 제공받고 미리 머신러닝 학습된 신경망 모델부(310)를 통해 사용자에 대한 비정상 추론 결과를 생성하여 상기 스마트 미러(100)로 제공하는 인공지능 서버(300);
를 포함하여 구성되는 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템.
- 청구항 1에 있어서,
상기 스마트 미러(100)는,
해당 거주공간에 대한 열화상 영상을 획득하는 열화상 카메라(110);
상기 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하는 스켈레톤 추출부(120);
상기 열화상 영상에 대해 얼굴 인식을 수행하는 얼굴 인식부(130);
상기 열화상 영상으로부터 상기 바이탈 보조정보로서 사용자에 대한 체온 정보를 획득하는 체온 식별부(140);
상기 스켈레톤 데이터를 상기 인공지능 서버(300)에 제공하고, 상기 인공지능 서버(300)로부터 상기 스켈레톤 데이터에 대응하는 비정상 추론 결과를 제공받고, 상기 상태 탐지 센서(200)로부터 상기 바이탈 보조정보로서 사용자에 대한 모션 및 호흡 정보를 제공받고, 상기 비정상 추론 결과와 상기 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하고, 상기 비정상 상황 판단 정보를 외부로 제공하는 비정상 상황 처리부(150);
를 포함하여 구성되는 것을 특징으로 하는 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템.
- 청구항 2에 있어서,
상기 스켈레톤 추출부(120)는 상기 열화상 영상으로부터 스켈레톤 벡터의 관절 포인트를 추출하고 시계열 스켈레톤 벡터 데이터를 구성하여 상기 스켈레톤 데이터를 획득하도록 구성되는 것을 특징으로 하는 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템.
- 청구항 3에 있어서,
상기 인공지능 서버(300)는,
낙상 신경망 모델을 구비하는 신경망 모델부(310);
미리 준비된 스켈레톤 데이터세트를 이용하여 상기 신경망 모델부(310)에 대하여 연속프레임의 스켈레톤 벡터의 관절 포인트의 위치 및 속도 변화 패턴을 머신러닝 학습시키는 신경망 학습부(320);
상기 신경망 학습부(320)에 의해 미리 학습된 상기 신경망 모델부(310)에 대해 상기 스마트 미러(100)로부터 제공받은 스켈레톤 데이터의 시계열 스켈레톤 벡터 데이터를 입력하여 사용자에 대한 비정상 상황 추론을 수행하는 신경망 추론부(330);
를 포함하여 구성되는 것을 특징으로 하는 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템.
- 자신이 설치된 사용자의 거주공간에 대한 정보를 얻고 스켈레톤 데이터 기반으로 인공지능 서버(300)와 협조 동작하여 사용자의 비정상 상태에 대한 추론 정보를 얻고 그에 대응하여 보호자 또는 의뢰기관에 비정상 상황을 통지하기 위한 인공지능 기반 케어를 위한 스마트 미러 장치로서,
해당 거주공간에 대한 열화상 영상을 획득하는 열화상 카메라(110);
상기 열화상 영상을 분석하여 사용자에 대한 시계열 스켈레톤 벡터 데이터를 포함한 스켈레톤 데이터를 획득하는 스켈레톤 추출부(120);
상기 열화상 영상에 대해 얼굴 인식을 수행하는 얼굴 인식부(130);
상기 열화상 영상으로부터 상기 바이탈 보조정보로서 사용자에 대한 체온 정보를 획득하는 체온 식별부(140);
상기 스켈레톤 데이터를 상기 인공지능 서버(300)에 제공하고, 상기 인공지능 서버(300)로부터 상기 스켈레톤 데이터에 대응하는 비정상 추론 결과를 제공받고, 상태 탐지 센서(200)로부터 상기 바이탈 보조정보로서 사용자에 대한 모션 및 호흡 정보를 제공받고, 상기 비정상 추론 결과와 상기 바이탈 보조정보에 기초하여 사용자에 대한 비정상 상황의 심각성 및 사망 여부를 포함하는 비정상 상황 판단 정보를 생성하고, 상기 비정상 상황 판단 정보를 외부로 제공하는 비정상 상황 처리부(150);
를 포함하여 구성되는 인공지능 기반 케어를 위한 스마트 미러 장치.
- 청구항 5에 있어서,
상기 스켈레톤 추출부(120)는 상기 열화상 영상으로부터 스켈레톤 벡터의 관절 포인트를 추출하고 시계열 스켈레톤 벡터 데이터를 구성하여 상기 스켈레톤 데이터를 획득하도록 구성되는 것을 특징으로 하는 인공지능 기반 케어를 위한 스마트 미러 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200144694A KR20220060037A (ko) | 2020-11-02 | 2020-11-02 | 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200144694A KR20220060037A (ko) | 2020-11-02 | 2020-11-02 | 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220060037A true KR20220060037A (ko) | 2022-05-11 |
Family
ID=81607151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200144694A KR20220060037A (ko) | 2020-11-02 | 2020-11-02 | 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220060037A (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101916631B1 (ko) | 2018-05-30 | 2018-11-08 | 이운명 | 열화상카메라를 포함하는 낙상 감지장치 |
| KR102052883B1 (ko) | 2017-05-19 | 2019-12-10 | 한국과학기술원 | 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법 |
-
2020
- 2020-11-02 KR KR1020200144694A patent/KR20220060037A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102052883B1 (ko) | 2017-05-19 | 2019-12-10 | 한국과학기술원 | 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법 |
| KR101916631B1 (ko) | 2018-05-30 | 2018-11-08 | 이운명 | 열화상카메라를 포함하는 낙상 감지장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Biswal et al. | IoT-based smart alert system for drowsy driver detection | |
| Harrou et al. | An integrated vision-based approach for efficient human fall detection in a home environment | |
| CN111915842B (zh) | 异常监控方法、装置、计算机设备及存储介质 | |
| Erden et al. | Sensors in assisted living: A survey of signal and image processing methods | |
| Cardinaux et al. | Video based technology for ambient assisted living: A review of the literature | |
| US9710761B2 (en) | Method and apparatus for detection and prediction of events based on changes in behavior | |
| Tzeng et al. | Design of fall detection system with floor pressure and infrared image | |
| US10846537B2 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
| US11688265B1 (en) | System and methods for safety, security, and well-being of individuals | |
| CN109887234B (zh) | 一种防儿童走失方法、装置、电子设备及存储介质 | |
| CN112364696B (zh) | 一种利用家庭监控视频提高家庭安全的方法及系统 | |
| JP5143780B2 (ja) | 監視装置及び監視方法 | |
| CN106448055B (zh) | 一种监控报警的方法及装置 | |
| Jose et al. | Drowsiness detection system for drivers using image processing technique | |
| EP3496397A1 (en) | Systems and methods for automatic video recording | |
| Merrouche et al. | Fall detection using head tracking and centroid movement based on a depth camera | |
| JP2016143302A (ja) | 情報通知装置、方法、およびプログラム | |
| CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
| KR20220060037A (ko) | 스마트 미러의 열화상 카메라와 스켈레톤 분석을 이용한 인공지능 기반 스마트 케어 시스템 | |
| JP7039084B1 (ja) | セルフレジ監視システム及びセルフレジ監視方法 | |
| WO2023164782A1 (en) | Harm prevention monitoring system and method | |
| KR102278548B1 (ko) | 제스처 기반의 재난대응 장치 및 방법 | |
| Mecocci et al. | Automatic falls detection in hospital-room context | |
| Planinc et al. | Emergency system for elderly–a computer vision based approach | |
| KR102190759B1 (ko) | 긴급상황 모니터링 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |