KR20090001848A - 얼굴표정 감시 방법 및 얼굴표정 감시 시스템 - Google Patents
얼굴표정 감시 방법 및 얼굴표정 감시 시스템 Download PDFInfo
- Publication number
- KR20090001848A KR20090001848A KR1020070051509A KR20070051509A KR20090001848A KR 20090001848 A KR20090001848 A KR 20090001848A KR 1020070051509 A KR1020070051509 A KR 1020070051509A KR 20070051509 A KR20070051509 A KR 20070051509A KR 20090001848 A KR20090001848 A KR 20090001848A
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- surveillance
- determination result
- analysis server
- target
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 144
- 238000012544 monitoring process Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 5
- 238000010295 mobile communication Methods 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000013459 approach Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
- A61B5/02433—Details of sensor for infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Abstract
얼굴표정 감시 방법 및 얼굴표정 감시 시스템이 개시되어 있다. 본 발명에 따르면, 적어도 1이상의 카메라를 포함하는 감시 단말 시스템이 감시 대상을 촬영하여 생성한 감시 영상을 유무선망을 통하여 분석 서버로 송신하는 제1단계; 상기 분석 서버는 상기 감시 영상으로부터 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴표정을 판단하여 얼굴표정 판단 결과를 생성하는 제2단계; 및 상기 분석 서버는 상기 얼굴표정 판단 결과를 적어도 1이상의 결과표시 단말기로 전송하는 제3단계를 포함하는 것을 특징으로 한다.
따라서, 본 발명에 의하면, 감시 대상의 상태가 정상인지 아니면 고통을 느끼고 있는지 등의 감시대상의 주관적인 상태를 보다 용이하게 알 수 있어 효과적인 감시를 할 수 있게 된다.
감시, 얼굴표정, 얼굴인식
Description
도1은 본 발명에 따른 얼굴표정 감시 방법의 순서도를 도시한 것이다.
도2는 본 발명에 따른 얼굴표정 감시 시스템의 구성도를 도시한 것이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 감시 단말 시스템 101: 제1 감시단말
102: 제2 감시단말 103: 제3 감시단말
110: 통신부 200: 분석서버시스템
201: 분석서버 202: 얼굴표정데이터베이스
203: 성문데이터베이스 301: 제1표시단말
302: 제2표시단말 303: 제3표시단말
본 발명은 감시대상의 얼굴표정을 인식하여 판단한 후 얼굴표정 판단 결과를 표시단말에 표시해주는 방법 및 시스템에 관한 것이다.
유아, 노인, 병자, 장애자와 같이 보살핌(감독)을 필요로 하지만 자신의 상태를 상대방에 알려주기 어려운 사람들이 있다. 이러한 사람들을 관리, 감독하기 위하여서는, 단지 카메라로 이들의 모습을 촬영하여 원격지의 감독자에게 전송하는 방법만으로는 부족한 점이 많다. 특히, 장시간 또는 24시간 내내 감시 감독이 필요한 경우에 있어서, 감독자는 장시간 감시 영상을 계속해 주시하여야 하고, 이에 따른 집중력 저하로 유사시에 감독을 소홀히 하는 상황이 발생가능하다.
즉, 감시 감독의 대상의 상태를 얼굴표정을 통하여 자동적으로 확인하고 이를 자동적으로 알려 경고를 해 줄 수 있는 방법 및 시스템이 필요하다.
따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 적어도 1이상의 카메라를 포함하는 감시 단말 시스템이 감시 대상을 촬영하여 생성한 감시 영상을 유무선망을 통하여 분석 서버로 송신하는 제1단계; 상기 분석 서버는 상기 감시 영상으로부터 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴표정을 판단하여 얼굴표정 판단 결과를 생성하는 제2단계; 및 상기 분석 서버는 상기 얼굴표정 판단 결과를 적어도 1이상의 결과표시 단말기로 전송하는 제3단계를 포함하는 것을 특징으로 하는 얼굴표정 감시 방법을 제공하는 데 있다.
상기 목적을 달성하기 위해 본 발명은, 감시하고자 하는 감시 대상을 촬영하여 감시 영상을 생성하는 적어도 1이상의 카메라 및 상기 감시 영상을 상기 분석서버로 송신하는 통신부를 포함하는 감시 단말 시스템; 감시하고자 하는 감시 대상을 촬영하여 감시 영상을 생성하는 감시 단말 시스템으로부터 상기 감시 대상이 촬영된 상기 감시 영상을 유무선망을 통하여 전송받고, 상기 감시 영상에서 상기 감시 대상의 얼굴영역을 구분하여 추출하고 상기 얼굴영역에서 얼굴 표정을 판단하여 얼굴 표정 판단 결과를 생성하며, 상기 얼굴 표정 판단 결과를 적어도 1이상의 표시 단말에 유무선망을 통하여 전송하는 분석 서버; 및 상기 분석 서버로부터 상기 얼굴표정 판단 결과를 수신받아서 감독자에게 상기 얼굴표정 판단 결과를 표시하여 주는 표시 단말기를 더 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템을 제공한다.
또한, 상기 감시 대상은 환자, 유아, 노인 또는 장애자를 포함하는 것을 특징으로 할 수 있다.
또, 상기 감시 영상은 적외선 영상을 포함하는 것을 특징으로 하며, 상기 얼굴표정은 체온 정보를 포함하는 것을 특징으로 할 수 있다.
한편, 상기 분석 서버는 웃는 표정, 화난 표정, 슬픈 표정, 아픈 표정 및 얼굴의 색상정보 중 적어도 1이상의 카테고리를 포함하는 상기 얼굴표정 판단 결과를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 분석 서버는 미리 입력된 감시 대상 얼굴의 표정 데이터베이스를 참조하여 상기 얼굴 영역의 얼굴 표정의 변형정도를 산출하고, 상기 변형정도에 상 응하는 수치정보를 기반으로 상기 얼굴표정 판단 결과를 생성하는 것을 특징으로 할 수 있다.
또, 상기 분석 서버는 얼굴 표정 데이터베이스에 미리 입력된 상기 감시 대상의 얼굴 색상 정보를 토대로 상기 얼굴영역의 색상 분포를 분석한 결과 미리 입력된 특정 색상분포를 갖는 경우 알람신호를 생성하여 상기 표시 단말에 전송하는 것을 특징으로 할 수 있다.
게다가, 상기 분석 서버는 얼굴 표정 데이터베이스에 미리 입력된 상기 감시 대상의 얼굴 정보를 참조하여 상기 감시 영상으로부터 추출한 얼굴 영역에서 얼굴표정 판단 결과를 생성하고, 상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 알람 신호를 생성하여 상기 알람 신호와 함께 상기 얼굴표정 판단 결과를 적어도 1이상의 상기 표시 단말에 전송하는 것을 특징으로 할 수도 있다.
또한, 상기 표시 단말은 이동통신 단말기 또는 인터넷 메신저 프로그램을 구비한 개인용 컴퓨팅 장치를 포함하는 것을 특징으로 할 수 있다.
한편, 본 발명의 또 다른 목적은, 적어도 1이상의 카메라 및 적어도 1이상의 음향 탐지 장치를 포함하여 감시 대상을 촬영하고, 상기 감시 대상의 음향을 탐지하여 감시 영상 및 감시 음향을 생성하는 감시 단말 시스템; 및 상기 감시 단말 시스템으로부터 상기 감시 영상 및 감시 음향을 유무선망을 통하여 전송받아서, 상기 감시 영상으로부터 얼굴 영역을 추출하고, 상기 얼굴 영역에서 얼굴표정을 판단하여 얼굴 표정 판단 결과를 생성하며, 상기 감시 음향으로부터 상기 감시 대상으로부터 발생되는 음성을 추출하고 분석하여 음성 분석 결과를 생성하여, 상기 얼굴표 정 판단결과 및 상기 음성 분석결과를 적어도 1이상의 표시 단말기로 유무선망을 통하여 전송하는 분석 서버를 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템을 제공하는데 있다.
상기 얼굴표정 판단 결과는 웃는 표정, 화난 표정, 슬픈 표정, 아픈 표정 및 얼굴의 색상정보 중 적어도 1이상의 카테고리를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 분석 서버는 미리 입력된 감시 대상 얼굴의 표정 데이터베이스를 참조하여 상기 얼굴 영역의 얼굴 표정의 변형정도를 산출하고, 상기 변형정도에 상응하는 수치정보를 기반으로 상기 얼굴표정 판단 결과를 생성하는 것을 특징으로 할 수 있다.
게다가, 상기 분석 서버는 감시 대상의 성문이 저장되어 있는 성문 데이터베이스를 기반으로 상기 감시 음향에서 상기 감시 대상으로부터 발생되는 음성을 추출하고 분석하는 것을 특징으로 할 수 있다.
더구나, 상기 분석 서버는 얼굴 표정 데이터베이스에 미리 입력된 상기 감시 대상의 얼굴 정보를 참조하여 상기 감시 영상으로부터 추출한 얼굴 영역에서 얼굴표정 판단 결과를 생성하고, 상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 제1알람 신호를 생성하여 상기 얼굴표정 판단 결과 및 상기 음성 분석 결과와 함께 상기 제1알람 신호를 상기 표시 단말에 전송하는 것을 특징으로 할 수 있다.
또, 상기 분석 서버는 상기 감시 음향을 성문 데이터베이스에 미리 입력된 상기 감시 대상의 성문정보를 참조하여 상기 감시 대상의 음성 인지 여부 및 상기 감시 대상의 음성인 경우 음성 분석 결과를 생성하고, 상기 음성 분석 결과가 미리 설정해 둔 설정값에 상응하는 경우 제2알람 신호를 생성하여 상기 얼굴표정 판단 결과 및 상기 음성 분석 결과와 함께 상기 제2알람 신호를 상기 표시 단말에 전송하는 것을 특징으로 할 수도 있다.
한편, 본 발명의 다른 목적은, 적어도 1이상의 카메라를 포함하는 감시 단말 시스템이 감시 대상을 촬영하여 생성한 감시 영상을 유무선망을 통하여 분석 서버로 송신하는 제1단계; 상기 분석 서버가, 상기 감시 대상이 촬영된 상기 감시 영상으로부터 상기 감시 대상의 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴표정을 판단하여 얼굴표정 판단 결과를 생성하는 제2단계; 및 상기 분석 서버가, 상기 얼굴표정 판단 결과를 적어도 1이상의 표시 단말기로 전송하는 제3단계를 포함하는 것을 특징으로 하는 얼굴표정 감시 방법을 제공하는데 있다.
또한, 상기 분석 서버는, 상기 감시 대상이 촬영된 상기 감시 영상으로부터 감시 대상의 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴표정을 인식한 후, 미리 입력된 감시 대상 얼굴의 표정 데이터베이스를 참조하여 상기 얼굴 영역의 얼굴 표정의 변형정도를 산출하고, 상기 변형정도에 상응하는 수치정보를 기반으로 얼굴표정 판단 결과를 생성하는 제2단계를 수행하고; 및 상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 알람 신호를 생성하고, 상기 알람 신호와 함께 상기 얼굴표정 판단 결과를 적어도 1이상의 상기 표시 단말에 전송하는 제3단계를 수행하는 것을 특징으로 할 수 있다.
게다가, 상기 분석 서버가 상기 얼굴표정 판단결과 및 상기 음성 분석결과를 적어도 1이상의 표시 단말기로 전송하는 제4단계를 더 포함하는 것을 특징으로 할 수도 있다.
더욱이, 상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 분석 서버가 제1알람 신호를 생성하여 상기 제1알람 신호를 상기 표시 단말에 전송하는 제5단계를 포함하는 것을 특징으로 할 수 있다.
또, 음성 분석 결과가 미리 설정해 둔 설정된 값에 상응하는 경우, 분석 서버가 제2알람 신호를 생성하여 상기 제2알람 신호를 상기 표시 단말에 전송하는 제6단계를 포함하는 것을 특징으로 하는 얼굴표정 감시 방법을 제공하는데 있다.
이하, 첨부도면을 참조하여 본 발명에 따른 얼굴표정 감시 방법의 바람직한 실시예를 보다 상세히 설명하면 다음과 같다.
도1은 본 발명에 따른 얼굴표정 감시 방법의 순서도가 기재되어 있다. 분석서버는 감시 단말 시스템으로부터 감시영상을 획득(S200)한 후 분석서버에서는 얼굴 표정을 판단하고(S300) 얼굴표정 판단 결과가 소정의 설정값에 근접하는지 판단(S400)하여 근접하는 경우는 알람신호와 함께 표시단말에 얼굴표정 판단 결과를 전송(S500)한다. 근접하지 않는 경우라면 알람신호 없이 얼굴표정 판단결과만을 전송(S550)한다.
보다 구체적으로 설명하면 다음과 같다.
감시 영상을 생성하는 감시 단말 시스템은 1이상의 감시단말을 포함하고 상기 감시단말은 카메라를 포함한다. 이를 통하여 상기 감시 단말 시스템이 감시 대 상을 촬영하여 감시 영상을 생성한다. 감시대상은 응용에 따라 여러가지가 가능하지만, 환자, 유아, 노인, 장애자 등 독립하여 생활하는 것이 불편한 자가 바람직하다. 또한, 경우에 따라서 애완 동물도 감시대상에 포함될 수 있다. 고정식 카메라나 피사체를 자동 추적하는 카메라 등이 감시 단말에 포함이 될 수 있고, 감시 단말 시스템은 상기 감시 단말에서 촬영되는 각각의 영상을 분석서버로 전송하기 위한 통신부를 포함하고 있다. 복수 개의 감시단말을 통하여 감시영상을 복수 개 생성하여 보다 넓은 범위를 감시하거나 보다 정확한 감시결과를 얻을 수 있다.
상기 감시 단말 시스템을 통하여 감시 영상을 분석 서버로 송신하는 제1단계를 수행한 뒤, 상기 분석 서버는 감시 영상으로부터 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴 표정을 판단하고 얼굴 표정 판단 결과를 생성하는 제2단계를 수행한다. 즉, 감시 영상에 포함된 영상이미지에서 피부색 정보 등을 이용하여 얼굴영역을 추출한 후, 상기 얼굴영역에서 얼굴구성요소의 위치 및 얼굴의 주름 등을 인식하여 얼굴표정을 판단한다. 상기의 얼굴 표정은 얼굴표정의 종류 및 얼굴표정의 강도로 나누어 판단할 수 있다. 즉, 웃거나, 화나거나, 슬프거나, 아픈 표정의 종류와 얼굴색상(안색 또는 혈색)의 카테고리로 구분되는 결과가 표시되는 얼굴표정의 종류가 있다. 또한, 상기 얼굴표정의 강도는 수치화하여 나타내는데, 얼굴 표정 데이터베이스를 참조하여 얼굴의 표정의 변형정도를 수치화하는 방법을 통하여 구현이 가능하다. 즉, 주름의 변화 또는 얼굴구성요소의 모양의 변화를 인식하고서 상기의 변화정도를 수치화하여 얼굴표정의 강도를 표시할 수 있다.
상기 얼굴표정 판단결과의 형식으로서는 (표정의 종류, 표정의 강도 수치)의 쌍으로서 (아픈표정,3) 또는 (화난표정,5)의 형식이 가능하다.
얼굴영역에서 얼굴의 색상정보를 추출하고, 얼굴표정 데이터베이스에 저장된 얼굴의 색상정보(입술의 위치 색상, 눈의 위치 색상 등)를 참조하여 얼굴의 색상 분포를 분석하여 상기 얼굴 표정의 판단 결과로서 혈색 판단 결과도 포함할 수도 있다.
상기의 얼굴의 색상정보를 포함한 얼굴의 표정정보가 미리 설정해 둔 설정값에 근접하거나 일치하는 경우에는 알람신호를 생성하여 표시단말에 전송한다. 설정값과 관련이 없는 경우에는 얼굴표정 정보만을 전송한다.
얼굴표정 판단 결과 및 알람신호를 전송받는 표시단말은 통상의 이동통신단말기, 유무선인터넷이 연결된 노트북, 전용수신기가 될 수 있다. 인터넷상의 메신저서비스를 통하여 얼굴표정 판단 결과 및 알람신호를 전달받는 것도 가능하다.
적외선 카메라를 구비한 감시 단말 시스템을 이용하여 감시영상과 동일한 적외선 감시영상을 함께 획득한 후, 적외선 감시영상에서 상기 감시대상의 얼굴영역의 체온을 감시할 수 있도록 하여 감시/감독의 효과를 더욱 높일 수 있다.
보다 정확하게 대상을 식별하고 대상의 상태를 감시하기 위하여 얼굴표정을 판단하는 것을 주된 것으로 하되, 보조적으로 감시대상의 음성을 추출하여 감시에 활용한다.
즉, 감시 단말 시스템의 감시 단말은 카메라 이외에도 마이크 등의 음향 수집 장치가 탑재되어 감시대상의 주위의 음향을 수집한다. 감시 대상이 사람인 경우, 사람마다 고유한 성문데이터베이스를 이용하여 감시 음향 수집 결과로부터 감 시 대상이 발생하는 음성만을 추출한다. 상기의 음성을 인식하여 문자로 변환하여 응급상황인지 여부를 판단할 수 있다. 음성을 인식한 결과 문자로 변환하는 것이 무의미한 문자인 경우에는 소리의 강약, 음의 고저, 지속 시간 등을 종합적으로 체크하여 미리 설정된 설정값과 유사한 경우 응급상황으로 판단할 수 있다.
얼굴표정을 기반으로 하여 판단한 결과가 미리 설정된 설정치와 근접한 경우 알람신호를 표시단말에 보내는데, 상기의 음성분석을 기반으로 판단한 결과가 미리 설정된 설정치와 근접한 경우에도 표시단말에 알람신호를 별도로 송신할 수 있다. 또한, 상기의 양자의 결과를 모두 종합하여 알람신호를 생성할 수도 있다. 즉, 얼굴표정의 판단결과와 상기의 음성분석결과를 적절한 가중치(예, 1대1 또는 2대1 등)를 두어 알람신호를 생성하여 종합적인 감시 결과를 보다 정확하게 도출해낼 수 있다.
이하에서는, 첨부도면을 참조하여 본 발명에 따른 얼굴표정 감시 시스템의 동작과정에 대해 보다 상세히 설명하면 다음과 같다.
도2는 감시 단말 시스템(100)은 제1감시단말(101), 제2감시단말(102), 제3감시단말(103)...을 포함하고 통신부(110)을 포함한다. 감시단말은 카메라를 포함하고 있으므로 감시영상을 생성할 수 있다.
분석 서버(200)는 분석서버(201), 얼굴표정 데이터베이스(202)를 포함한다. 분석서버는 감시영상을 전송받아서 감시영상으로부터 얼굴영역을 추출한 후, 얼굴표정 데이터베이스에 저장된 얼굴표정과 비교하여 감시대상의 현재 얼굴 표정을 판단한다. 현재 얼굴 표정정보를 그대로 표시단말에 전송하는 것도 가능하지만, 보다 바람직하게는 얼굴표정정보가 소정의 설정치에 근접하는 경우에만 알람신호와 함께 표정정보를 표시단말에 송신한다.
표시단말은 상기에서 기술하였듯이, 통상의 이동통신단말기, 유무선인터넷이 연결된 노트북, 전용수신기가 될 수 있다. 인터넷상의 메신저서비스를 통하여 얼굴표정 판단 결과 및 알람신호를 전달받는 것도 가능하다.
또한, 보다 정확한 감시결과를 얻기 위하여 감시단말(101, 102, 103,...)에 마이크 등의 음향수집장치를 구비시켜 음향정보를 얻은 후에 분석서버(201)가 성문DB(203)를 참조하여 감시 대상의 고유한 음성인지를 판별한 후에 고유한 음성만을 추출하고 음성인식을 수행하여 감시 대상의 보다 정확한 상태를 판단할 수 있다. 음성분석결과가 소정의 설정치에 근접하는 경우 표시단말에 알람신호를 포함하여 전송할 수 있다.
상기 얼굴표정 판단 결과와 상기의 음성 판단 결과를 각각 별개로 표시단말에 제공하거나, 적절한 가중치를 두어 종합결과를 표시단말에 전송하는 것이 가능하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
따라서, 본 발명에서는 얼굴표정을 통하여 환자, 소아, 장애인 등을 효과적으로 감시할 수 있다. 즉, 혼자서 생활하기 힘들거나, 주위의 감독이 필요한 환자, 장애인, 소아 등을 얼굴표정을 이용하여 감독하므로, 감시 대상의 현재 고통을 느끼고 있는지 아니면 정상상태인지 등의 주관적인 상태를 보다 효과적으로 판단하는 것이 가능하여, 감시 대상이 현재 무엇을 필요로 하는지를 보다 정확하게 판단할 수 있어 보다 효과적인 감시를 할 수 있는 이점이 있다.
Claims (19)
- 감시하고자 하는 감시 대상을 촬영하여 감시 영상을 생성하는 적어도 1이상의 카메라 및 상기 감시 영상을 상기 분석서버로 송신하는 통신부를 포함하는 감시 단말 시스템;감시하고자 하는 감시 대상을 촬영하여 감시 영상을 생성하는 감시 단말 시스템으로부터 상기 감시 대상이 촬영된 상기 감시 영상을 유무선망을 통하여 전송받고, 상기 감시 영상에서 상기 감시 대상의 얼굴영역을 구분하여 추출하고 상기 얼굴영역에서 얼굴 표정을 판단하여 얼굴 표정 판단 결과를 생성하며, 상기 얼굴 표정 판단 결과를 적어도 1이상의 표시 단말에 유무선망을 통하여 전송하는 분석 서버; 및상기 분석 서버로부터 상기 얼굴표정 판단 결과를 수신받아서 감독자에게 상기 얼굴표정 판단 결과를 표시하여 주는 표시 단말기를 더 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항에 있어서,상기 감시 대상은 환자, 유아, 노인 또는 장애자를 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항에 있어서,상기 감시 영상은 적외선 영상을 포함하는 것을 특징으로 하며, 상기 얼굴표정은 체온 정보를 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항에 있어서,상기 분석 서버는 웃는 표정, 화난 표정, 슬픈 표정, 아픈 표정 및 얼굴의 색상정보 중 적어도 1이상의 카테고리를 포함하는 상기 얼굴표정 판단 결과를 생성하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항 또는 제4항에 있어서,상기 분석 서버는 미리 입력된 감시 대상 얼굴의 표정 데이터베이스를 참조하여 상기 얼굴 영역의 얼굴 표정의 변형정도를 산출하고, 상기 변형정도에 상응하는 수치정보를 기반으로 상기 얼굴표정 판단 결과를 생성하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항 또는 제4항에 있어서,상기 분석 서버는 얼굴 표정 데이터베이스에 미리 입력된 상기 감시 대상의 얼굴 색상 정보를 토대로 상기 얼굴영역의 색상 분포를 분석한 결과 미리 입력된 특정 색상분포를 갖는 경우 알람신호를 생성하여 상기 표시 단말에 전송하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항 또는 제4항에 있어서,상기 분석 서버는 얼굴 표정 데이터베이스에 미리 입력된 상기 감시 대상의 얼굴 정보를 참조하여 상기 감시 영상으로부터 추출한 얼굴 영역에서 얼굴표정 판단 결과를 생성하고, 상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 알람 신호를 생성하여 상기 알람 신호와 함께 상기 얼굴표정 판단 결과를 적어도 1이상의 상기 표시 단말에 전송하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제1항에 있어서,상기 표시 단말은 이동통신 단말기 또는 인터넷 메신저 프로그램을 구비한 개인용 컴퓨팅 장치를 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 적어도 1이상의 카메라 및 적어도 1이상의 음향 탐지 장치를 포함하여 감시 대상을 촬영하고, 상기 감시 대상의 음향을 탐지하여 감시 영상 및 감시 음향을 생성하는 감시 단말 시스템; 및상기 감시 단말 시스템으로부터 상기 감시 영상 및 감시 음향을 유무선망을 통하여 전송받아서, 상기 감시 영상으로부터 얼굴 영역을 추출하고, 상기 얼굴 영역에서 얼굴표정을 판단하여 얼굴 표정 판단 결과를 생성하며, 상기 감시 음향으로부터 상기 감시 대상으로부터 발생되는 음성을 추출하고 분석하여 음성 분석 결과를 생성하여, 상기 얼굴표정 판단결과 및 상기 음성 분석결과를 적어도 1이상의 표시 단말기로 유무선망을 통하여 전송하는 분석 서버를 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제9항에 있어서,상기 얼굴표정 판단 결과는 웃는 표정, 화난 표정, 슬픈 표정, 아픈 표정 및 얼굴의 색상정보 중 적어도 1이상의 카테고리를 포함하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제9항에 있어서,상기 분석 서버는 미리 입력된 감시 대상 얼굴의 표정 데이터베이스를 참조 하여 상기 얼굴 영역의 얼굴 표정의 변형정도를 산출하고, 상기 변형정도에 상응하는 수치정보를 기반으로 상기 얼굴표정 판단 결과를 생성하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제9항 또는 제11항에 있어서,상기 분석 서버는 감시 대상의 성문이 저장되어 있는 성문 데이터베이스를 기반으로 상기 감시 음향에서 상기 감시 대상으로부터 발생되는 음성을 추출하고 분석하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제9항 또는 제11항에 있어서,상기 분석 서버가 얼굴 표정 데이터베이스에 미리 입력된 상기 감시 대상의 얼굴 정보를 참조하여 상기 감시 영상으로부터 추출한 얼굴 영역에서 얼굴표정 판단 결과를 생성하고, 상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 제1알람 신호를 생성하여 상기 얼굴표정 판단 결과 및 상기 음성 분석 결과와 함께 상기 제1알람 신호를 상기 표시 단말에 전송하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 제9항 또는 제11항에 있어서,상기 분석 서버는 상기 감시 음향을 성문 데이터베이스에 미리 입력된 상기 감시 대상의 성문정보를 참조하여 상기 감시 대상의 음성 인지 여부 및 상기 감시 대상의 음성인 경우 음성 분석 결과를 생성하고, 상기 음성 분석 결과가 미리 설정해 둔 설정값에 상응하는 경우 제2알람 신호를 생성하여 상기 얼굴표정 판단 결과 및 상기 음성 분석 결과와 함께 상기 제2알람 신호를 상기 표시 단말에 전송하는 것을 특징으로 하는 얼굴표정 감시 시스템.
- 적어도 1이상의 카메라를 포함하는 감시 단말 시스템이 감시 대상을 촬영하여 생성한 감시 영상을 유무선망을 통하여 분석 서버로 송신하는 제1단계;상기 분석 서버가, 상기 감시 대상이 촬영된 상기 감시 영상으로부터 상기 감시 대상의 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴표정을 판단하여 얼굴표정 판단 결과를 생성하는 제2단계; 및상기 분석 서버가, 상기 얼굴표정 판단 결과를 적어도 1이상의 표시 단말기로 전송하는 제3단계를 포함하는 것을 특징으로 하는 얼굴표정 감시 방법.
- 제 15항에 있어서,상기 분석 서버는, 상기 감시 대상이 촬영된 상기 감시 영상으로부터 감시 대상의 얼굴 영역을 추출하고 상기 얼굴 영역에서 얼굴표정을 인식한 후, 미리 입력된 감시 대상 얼굴의 표정 데이터베이스를 참조하여 상기 얼굴 영역의 얼굴 표정의 변형정도를 산출하고, 상기 변형정도에 상응하는 수치정보를 기반으로 얼굴표정 판단 결과를 생성하는 제2단계를 수행하고; 및상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 알람 신호를 생성하고, 상기 알람 신호와 함께 상기 얼굴표정 판단 결과를 적어도 1이상의 상기 표시 단말에 전송하는 제3단계를 수행하는 것을 특징으로 하는 얼굴표정 감시 방법.
- 제15항 또는 16항 중 어느 한 항에 있어서,상기 분석 서버가 상기 얼굴표정 판단결과 및 상기 음성 분석결과를 적어도 1이상의 표시 단말기로 전송하는 제4단계를 더 포함하는 것을 특징으로 하는 얼굴표정 감시 방법.
- 제 17항에 있어서,상기 얼굴표정 판단 결과가 미리 설정된 얼굴표정에 상응하는 경우 분석 서버가 제1알람 신호를 생성하여 상기 제1알람 신호를 상기 표시 단말에 전송하는 제5단계를 포함하는 것을 특징으로 하는 얼굴표정 감시 방법.
- 제 18항에 있어서,음성 분석 결과가 미리 설정해 둔 설정된 값에 상응하는 경우, 분석 서버가 제2알람 신호를 생성하여 상기 제2알람 신호를 상기 표시 단말에 전송하는 제6단계를 포함하는 것을 특징으로 하는 얼굴표정 감시 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070051509A KR20090001848A (ko) | 2007-05-28 | 2007-05-28 | 얼굴표정 감시 방법 및 얼굴표정 감시 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070051509A KR20090001848A (ko) | 2007-05-28 | 2007-05-28 | 얼굴표정 감시 방법 및 얼굴표정 감시 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20090001848A true KR20090001848A (ko) | 2009-01-09 |
Family
ID=40484890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070051509A KR20090001848A (ko) | 2007-05-28 | 2007-05-28 | 얼굴표정 감시 방법 및 얼굴표정 감시 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20090001848A (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011025234A3 (en) * | 2009-08-24 | 2011-07-07 | Samsung Electronics Co., Ltd. | Method for transmitting image and image pickup apparatus applying the same |
| KR20160012362A (ko) * | 2014-07-23 | 2016-02-03 | 서울특별시 | 방범 시스템 및 그 제어 방법 |
| EP2930637A3 (en) * | 2014-04-11 | 2017-11-15 | Hill-Rom Services, Inc. | Patient-need prediction system |
| CN109584051A (zh) * | 2018-12-18 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 基于微表情识别的客户逾期风险判断方法及装置 |
| CN114373535A (zh) * | 2022-01-13 | 2022-04-19 | 刘威 | 基于互联网的新型医患机制系统 |
| KR20220068282A (ko) * | 2020-11-18 | 2022-05-26 | 재단법인대구경북과학기술원 | 얼굴인식과 동작인식을 활용한 지능형 버추얼 피트니스 시스템 및 그 동작 방법 |
| KR20220126934A (ko) * | 2021-03-10 | 2022-09-19 | 주식회사 넥스트도어 | Ai 기반의 모니터링 시스템 및 그의 동작 방법 |
| US11521424B2 (en) | 2018-01-31 | 2022-12-06 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| KR102575307B1 (ko) * | 2023-03-21 | 2023-09-06 | (주)쿨스쿨 | 얼굴인식을 이용한 학생 관리 시스템 및 방법 |
| CN117557966A (zh) * | 2024-01-09 | 2024-02-13 | 南京格瑞物联科技有限公司 | 基于监控图像识别的校园异常行为安全检测方法及系统 |
-
2007
- 2007-05-28 KR KR1020070051509A patent/KR20090001848A/ko not_active Application Discontinuation
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102577348A (zh) * | 2009-08-24 | 2012-07-11 | 三星电子株式会社 | 发送图像的方法以及应用该方法的图像拾取设备 |
| US9912870B2 (en) | 2009-08-24 | 2018-03-06 | Samsung Electronics Co., Ltd | Method for transmitting image and image pickup apparatus applying the same |
| WO2011025234A3 (en) * | 2009-08-24 | 2011-07-07 | Samsung Electronics Co., Ltd. | Method for transmitting image and image pickup apparatus applying the same |
| EP2930637A3 (en) * | 2014-04-11 | 2017-11-15 | Hill-Rom Services, Inc. | Patient-need prediction system |
| US10172522B2 (en) | 2014-04-11 | 2019-01-08 | Hill-Rom Services, Inc. | Patient-need prediction system |
| KR20160012362A (ko) * | 2014-07-23 | 2016-02-03 | 서울특별시 | 방범 시스템 및 그 제어 방법 |
| US11521424B2 (en) | 2018-01-31 | 2022-12-06 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| CN109584051A (zh) * | 2018-12-18 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 基于微表情识别的客户逾期风险判断方法及装置 |
| KR20220068282A (ko) * | 2020-11-18 | 2022-05-26 | 재단법인대구경북과학기술원 | 얼굴인식과 동작인식을 활용한 지능형 버추얼 피트니스 시스템 및 그 동작 방법 |
| KR20220126934A (ko) * | 2021-03-10 | 2022-09-19 | 주식회사 넥스트도어 | Ai 기반의 모니터링 시스템 및 그의 동작 방법 |
| CN114373535A (zh) * | 2022-01-13 | 2022-04-19 | 刘威 | 基于互联网的新型医患机制系统 |
| KR102575307B1 (ko) * | 2023-03-21 | 2023-09-06 | (주)쿨스쿨 | 얼굴인식을 이용한 학생 관리 시스템 및 방법 |
| CN117557966A (zh) * | 2024-01-09 | 2024-02-13 | 南京格瑞物联科技有限公司 | 基于监控图像识别的校园异常行为安全检测方法及系统 |
| CN117557966B (zh) * | 2024-01-09 | 2024-04-02 | 南京格瑞物联科技有限公司 | 基于监控图像识别的校园异常行为安全检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20090001848A (ko) | 얼굴표정 감시 방법 및 얼굴표정 감시 시스템 | |
| KR101729327B1 (ko) | 듀얼 카메라를 이용한 체온 추적 모니터링 시스템 | |
| US20160345832A1 (en) | System and method for monitoring biological status through contactless sensing | |
| US9747902B2 (en) | Method and system for assisting patients | |
| KR101654609B1 (ko) | 거동이 불편한 자, 장애인 및 독거노인을 위한 원격 스마트 모니터링 시스템 및 그 방법 | |
| KR102202262B1 (ko) | 치매 증상 인지 및 치매 환자 관리 서비스 제공 장치 및 방법 | |
| US20150194034A1 (en) | Systems and methods for detecting and/or responding to incapacitated person using video motion analytics | |
| KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| KR101309366B1 (ko) | 영상 기반 이상 동작 감시 시스템 및 방법 | |
| JP2007068620A (ja) | 心理状態計測装置 | |
| EP3420713B1 (en) | Devices, system and methods for determining a priority level and/or conversation duration of a call | |
| KR20130118510A (ko) | 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법 | |
| Joshi et al. | A fall detection and alert system for an elderly using computer vision and Internet of Things | |
| CN107918726A (zh) | 距离感应方法、设备及存储介质 | |
| US20200118689A1 (en) | Fall Risk Scoring System and Method | |
| Zhang et al. | Falling detection of lonely elderly people based on NAO humanoid robot | |
| CN111803031A (zh) | 一种非接触式吸毒人员复吸监测方法及系统 | |
| CN111787260A (zh) | 一种隔离病房无接触监护系统、方法和存储介质 | |
| US20220409120A1 (en) | Information Processing Method, Computer Program, Information Processing Device, and Information Processing System | |
| KR102348663B1 (ko) | 영상과 라인레이저를 이용한 맥박 및 호흡 측정 시스템 및 방법 | |
| CN116322496A (zh) | 感情判定装置、感情判定方法以及感情判定程序 | |
| JP7062753B2 (ja) | 監視システム及び監視方法 | |
| JP2018170714A (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム | |
| JP2011227677A (ja) | 通報装置 | |
| JP7306439B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |