KR102014095B1 - Recognition Support System and Method - Google Patents
Recognition Support System and Method Download PDFInfo
- Publication number
- KR102014095B1 KR102014095B1 KR1020170127229A KR20170127229A KR102014095B1 KR 102014095 B1 KR102014095 B1 KR 102014095B1 KR 1020170127229 A KR1020170127229 A KR 1020170127229A KR 20170127229 A KR20170127229 A KR 20170127229A KR 102014095 B1 KR102014095 B1 KR 102014095B1
- Authority
- KR
- South Korea
- Prior art keywords
- service
- task
- situation
- subject
- service subject
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06K9/00335—
-
- G06K9/00597—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Abstract
본 발명은 인지 보조 시스템 및 방법에 관한 것으로, 본 발명에 따른 시스템은 회전 및 이동 가능하게 설치되는 프로젝터부, 서비스 대상자의 상황을 감지하는 상황 감지부, 그리고 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크를 결정하고, 프로젝터부를 이용하여 결정된 태스크와 관련된 객체 또는 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부를 포함한다. 본 발명에 의하면, 회전 및 이동 가능하게 설치된 프로젝터부가 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보를 태스크와 관련된 객체 또는 객체의 주변에 제공함으로써 치매 또는 인지 기능 장애를 가진 서비스 대상자의 인지 기능을 보조할 수 있다.The present invention relates to a cognitive assistance system and method, the system according to the present invention is installed in a rotatable and moveable, the situation detection unit for detecting the situation of the service target, and the detected situation of the service target or a predetermined schedule And a control unit for determining a task to be performed by the service target and controlling the task information to be provided around the object or the object related to the task determined using the projector unit. According to the present invention, the projector unit rotatably and movable is provided with task information to be performed by the service target in accordance with the situation of the service target or a predetermined schedule to provide an object related to the task or the periphery of the object, thereby having dementia or cognitive impairment. Cognitive function of service subject can be assisted.
Description
본 발명은 인지 보조 시스템 및 방법에 관한 것으로, 보다 자세하게는 치매 또는 인지 기능 장애를 가진 환자의 인지 기능을 보조하여 환자가 스스로 생활할 수 있도록 지원하는 인지 보조 시스템 및 방법에 관한 것이다.The present invention relates to a cognitive assistance system and method, and more particularly, to a cognitive assistance system and method for assisting a patient to live by assisting the cognitive function of a patient with dementia or cognitive dysfunction.
최근 들어, 전 세계가 빠른 속도로 고령화 사회로 진입하고 있으며, 이에 따라 인간은 질병 없이 건강하게 장수할 수 있는 높은 삶의 질을 추구하고 있다. 과학의 발달로 인한 수명의 연장으로 노인 인구가 증가하면서, 신경 퇴행성 질환인 치매 환자의 비율도 급증하고 있다. 이와 더불어 과학기술의 발전으로 인한 현대 사회의 복잡화 또는 고도화 등에 따라 현대인의 스트레스가 증가하고 이로 인하여 중장년 층에서도 치매 현상이 발생하고 있다.In recent years, the world is rapidly entering an aging society, and accordingly, humans are pursuing a high quality of life that can be healthy and healthy without disease. As the life expectancy increases due to the development of science, the proportion of dementia patients with neurodegenerative diseases is increasing rapidly. In addition, the stress of modern people increases due to the complicated or advanced modern society due to the development of science and technology, and dementia phenomenon occurs in the middle-aged people.
일반적으로, 알츠하이머병(Alzheimer's Disease)을 비롯한 노인성 치매는 점진적으로 인지 기능이 소실되는 질환으로서, 개인적으로나 사회적으로 삶의 질을 크게 떨어뜨리고 본인과 주변의 사람들을 불행하게 만들며, 암, 심장질환 및 뇌졸중에 이어 노인 사망의 네 번째 원인이 되고 있다.In general, senile dementia, including Alzheimer's disease, is a gradual loss of cognitive function that significantly reduces the quality of life, both personally and socially, makes people and people around them unhappy, and develops cancer, heart disease, Following stroke, it is the fourth leading cause of death for the elderly.
이러한 인지 기능 장애는 주의력 감소, 학습 능력의 감소, 기억력 감퇴 또는 감각 인지 기능 등으로 나타나고, 기억력의 장애는 흔한 증상으로서 대부분 과거의 사건에 대한 기억력은 온전하지만 새로운 정보를 기억하고 배우는 기능에 장애가 발생될 수도 있다.These cognitive impairments are manifested as decreased attention, decreased learning ability, decreased memory, or sensory cognitive function. Memory impairment is a common symptom, and most of the memory of past events is intact but impaired in learning and learning new information. May be
하지만, 이러한 치매 또는 인지 기능 장애를 가진 환자에게 발생하는 기억력 약화나 상실 등에 대하여 보조해준다면 이들도 정상적으로 생활할 수 있기 때문에 치매 또는 인지 기능 장애를 가진 환자 스스로가 자신의 생활을 원활하게 영위할 수 있도록 환자의 상황이나 일정에 따라 수행해야 할 임무를 안내하고 지원하는 방안이 요구되었다.However, if you help them with memory loss or loss that occurs in patients with dementia or cognitive dysfunction, they can live normally, so patients with dementia or cognitive dysfunction can live their lives smoothly. It was required to guide and support the tasks to be performed according to the patient's situation or schedule.
따라서 본 발명이 해결하고자 하는 기술적 과제는 회전 및 이동 가능하게 설치된 프로젝터부가 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보를 태스크와 관련된 객체 또는 객체의 주변에 제공함으로써 치매 또는 인지 기능 장애를 가진 서비스 대상자의 인지 기능을 보조할 수 있는 인지 보조 시스템 및 방법을 제공하는 것이다.Therefore, the technical problem to be solved by the present invention is to provide dementia or the like by providing the task information to be performed by the service target according to the situation of the service target or a predetermined schedule, the projector unit is installed to rotate and move around the object or the object associated with the task It is to provide a cognitive assistance system and method that can assist the cognitive function of a service subject with cognitive impairment.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.In addition to the objects explicitly stated, the present invention also includes other objects that can be achieved from the configurations of the present invention described below.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인지 보조 시스템은 회전 및 이동 가능하게 설치되는 프로젝터부, 서비스 대상자의 상황을 감지하는 상황 감지부, 그리고 상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하고, 상기 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부를 포함한다.The cognitive assistance system according to an embodiment of the present invention for solving the above technical problem is a projector unit installed to be rotatable and movable, a situation detecting unit detecting a situation of a service subject, and the detected situation of a service subject or And a controller configured to determine a task to be performed by the service target according to a predetermined schedule, and to control task information to be provided around the object or the object related to the determined task by using the projector unit.
상기 서비스 대상자의 시선을 감지하는 시선 감지부를 더 포함하고, 상기 제어부는 상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응이 없으면, 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보가 제공되도록 상기 프로젝터부를 제어할 수 있다.The apparatus may further include a gaze detector configured to detect a gaze of the service subject, and the controller may perform the task according to the detected gaze direction of the service subject when there is no response of the service subject for a predetermined time from when the task information is provided. The projector unit may be controlled to provide guide information for guiding.
상기 가이드 정보는 상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공될 수 있다.The guide information may be provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.
상기 서비스 대상자의 움직임을 감지하는 움직임 감지부를 더 포함하고, 상기 제어부는 상기 서비스 대상자의 움직임의 유무를 이용하여 상기 서비스 대상자의 반응 여부를 판단할 수 있다.The apparatus may further include a motion detector configured to detect a movement of the service subject, and the controller may determine whether the service subject reacts using the presence or absence of the movement of the service subject.
상기 태스크 정보 및 상기 가이드 정보는 상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다.The task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service subject.
상기 상황 감지부는 상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력 받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 포함할 수 있다.The situation detection unit detects the surroundings of the service person and the service person, a microphone for receiving the ambient sound of the service person, a temperature sensor for detecting the ambient temperature of the service person, and the ambient humidity of the service person. It may include at least one of the humidity sensor.
상기 제어부는 상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식할 수 있다. When there are a plurality of people around the service subject, the controller may recognize a service subject to perform the task using a face or body image photographed by the camera.
상기 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 저장부를 더 포함할 수 있다.The apparatus may further include a storage configured to store the situation of the service target, a task list according to a schedule, and location information of objects corresponding to the task list.
상기 프로젝터부는 중심에 있는 회전축을 따라 회전 가능하게 구성되고, 미리 설치된 레일을 따라 이동 가능하게 구성될 수 있다.The projector unit may be configured to be rotatable along a rotational axis in the center and to be movable along a pre-installed rail.
상기 제어부는 상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보가 보호자 단말에 제공되도록 제어할 수 있다.The controller may determine whether an emergency occurs on the basis of the detected situation of the service subject, and control the emergency occurrence information to be provided to the guardian terminal when an emergency occurs in the service subject.
한편, 본 발명의 일 실시예에 따른 인지 보조 방법은 서비스 대상자의 상황을 감지하는 단계, 상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하는 단계, 그리고 회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보를 제공하는 단계를 포함한다.On the other hand, the cognitive assistance method according to an embodiment of the present invention includes the steps of detecting the situation of the service target, determining the task to be performed by the service target according to the detected situation of the service target or a predetermined schedule, and And providing task information to an object related to the determined task or to the periphery of the object using a projector unit rotatably and movable.
상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응 여부를 판단하고, 상기 서비스 대상자의 반응이 없으면, 상기 서비스 대상자의 시선을 감지하는 단계, 그리고 상기 프로젝터부를 이용하여 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보를 제공하는 단계를 더 포함할 수 있다.Determining whether the service subject responds to the service subject for a predetermined time from the time point at which the task information is provided, and if there is no response of the service subject, detecting the gaze of the service subject, and the detected service subject using the projector unit The method may further include providing guide information for guiding the task according to a direction of the eye.
상기 가이드 정보는 상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공될 수 있다.The guide information may be provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.
상기 서비스 대상자의 움직임을 감지하는 단계를 더 포함하고, 상기 서비스 대상자의 반응 여부는 상기 서비스 대상자의 움직임의 유무를 이용하여 판단될 수 있다.The method may further include detecting a movement of the service subject, and whether the service subject responds may be determined using the presence or absence of the movement of the service subject.
상기 태스크 정보 및 상기 가이드 정보는 상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다.The task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service subject.
상기 서비스 대상자의 상황은 상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력 받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 이용하여 감지될 수 있다.The situation of the service subject includes a camera photographing the environment of the service subject and the service subject, a microphone that receives the ambient sound of the service subject, a temperature sensor detecting the ambient temperature of the service subject, and the ambient humidity of the service subject It may be detected using at least one of the humidity sensor for detecting the.
상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식하는 단계를 더 포함할 수 있다.When there are a plurality of people around the service subject, the method may further include recognizing a service subject to perform the task using a face or body image photographed by the camera.
상기 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 단계를 더 포함할 수 있다.The method may further include storing information about a situation of the service target, a task list according to a schedule, and location information of objects corresponding to the task list.
상기 프로젝터부는 중심에 있는 회전축을 따라 회전 가능하게 구성되고, 미리 설치된 레일을 따라 이동 가능하게 구성될 수 있다.The projector unit may be configured to be rotatable along a rotational axis in the center and to be movable along a pre-installed rail.
상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하는 단계, 그리고 상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 보호자 단말에 제공하는 단계를 더 포함할 수 있다.The method may further include determining whether an emergency occurs based on the detected situation of the service subject, and providing emergency occurrence information to the guardian terminal when the emergency occurs.
이와 같이 본 발명의 실시예에 따른 인지 보조 시스템 및 방법에 따르면, 회전 및 이동 가능하게 설치된 프로젝터부가 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보를 태스크와 관련된 객체 또는 객체의 주변에 제공함으로써 치매 또는 인지 기능 장애를 가진 서비스 대상자의 인지 기능을 보조할 수 있는 장점이 있다.As described above, according to the cognitive assistance system and method, an object or an object related to a task includes information about a task to be performed by a service target according to a situation of a service target or a predetermined schedule. By providing in the vicinity of the advantage that can assist the cognitive function of the service subjects with dementia or cognitive dysfunction.
그리고 태스크 정보를 제공한 후 일정 시간 동안 서비스 대상자의 반응이 없으면, 사용자의 시선 방향에 움직이는 애니메이션 등과 같이 주의를 환기시키거나 화살표와 같이 태스크를 가이드하기 위한 가이드 정보를 제공함으로써 서비스 대상자가 태스크를 인식할 수 있도록 지원할 수 있다.If there is no response from the service subject for a certain time after providing the task information, the service target recognizes the task by providing guide information for drawing attention such as animation moving in the user's gaze direction or guiding the task as an arrow. I can support them.
이와 같이, 치매 또는 인지 기능 장애를 가진 서비스 대상자에게 필요한 태스크를 서비스 대상자의 상황이나 스케줄에 따라 쉽게 알려줄 수 있고, 서비스 대상자의 인지 기능 정도에 따라 맞춤형으로 태스크 정보를 제공하기 때문에 서비스 대상자는 스스로 일생 생활을 영위할 수 있는 장점이 있다.As such, it is possible to easily inform the service subjects with dementia or cognitive impairment according to the situation or schedule of the service subjects, and provide the task information tailored according to the degree of cognitive function of the service subjects. There is an advantage to living.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.On the other hand, the effects of the present invention are not limited to those described above, and other effects that can be derived from the configuration of the present invention described later are included in the effects of the present invention.
도 1은 본 발명의 일 실시예에 따른 인지 보조 시스템의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 인지 기능을 보조하는 과정을 설명하기 위한 예시도들이다.
도 3a 내지 도 3c는 본 발명의 다른 실시예에 따른 인지 기능을 보조하는 과정을 설명하기 위한 예시도들이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 태스크 정보의 예시도들이다.
도 5는 본 발명의 일 실시예에 따른 인지 보조 과정을 보여주는 동작 흐름도이다.1 is a block diagram of a cognitive assistance system according to an embodiment of the present invention.
2A and 2B are exemplary diagrams for describing a process of assisting a cognitive function according to an embodiment of the present invention.
3A to 3C are exemplary diagrams for describing a process of assisting a cognitive function according to another embodiment of the present invention.
4A and 4B are exemplary diagrams of task information according to an embodiment of the present invention.
5 is an operation flowchart showing a cognitive assistance process according to an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 일 실시예에 따른 인지 보조 시스템의 구성도를 나타낸다.1 is a block diagram of a cognitive assistance system according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 인지 보조 시스템(1)은 프로젝터부(100), 상황 감지부(200), 시선 감지부(300), 움직임 감지부(400), 저장부(500), 제어부(600), 출력부(700) 및 통신부(800)를 포함하여 구성된다.As shown in FIG. 1, the
프로젝터부(100)는 사진, 그림 또는 문자 등과 같은 정보를 광원으로부터 조사되는 빛을 통해 미리 정해진 위치에 투사하는 영사 장치로 이루어질 수 있다.The
프로젝터부(100)는 서비스 대상자가 위치할 수 있는 실내외 공간에 설치될 수 있다. 예컨대, 프로젝터부(100)가 복수 개인 경우, 복수 개의 프로젝터부(100)는 서비스 대상자가 위치할 수 있는 거실, 주방, 안방 또는 출입구의 천장 등에 각각 설치될 수 있으며, 단일의 프로젝터부(100)인 경우, 거실, 주방, 안방 또는 출입구 등을 하나로 연결하는 레일이 설치되고 프로젝터부(100)가 레일을 따라 원하는 장소로 이동 가능하도록 구성될 수 있다.The
프로젝터부(100)는 중심에 있는 회전축을 따라 360도 방향으로 회전 가능하도록 로테이터(rotator) 및 로테이터를 회전시키는 모터 등을 구비할 수 있으며, 레일을 따라 이동하기 위해서는 모터에 의해 구동되는 바퀴 등을 구비할 수 있다.The
프로젝터부(100)는 제어부(600)의 제어에 따라 소정의 장소로 이동하거나 소정의 방향으로 회전한 상태에서 제어부(600)로부터 전송 받은 태스크 정보 또는 가이드 정보를 소정의 위치로 투사할 수 있다. The
상황 감지부(200)는 서비스 대상자의 상황을 감지할 수 있는데, 보다 자세하게는 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황 또는 서비스 대상자의 주변 상황 등을 감지할 수 있다.The
보다 자세하게는, 상황 감지부(200)는 미리 정해진 위치 또는 프로젝터부(100)에 설치되어 서비스 대상자를 촬영하는 카메라(210) 또는 사용자의 신체 또는 의복에 착용되어 서비스 대상자의 현재 상태나 서비스 대상자가 처한 상황을 감지할 수 있는 웨어러블 센서(미도시) 등으로 이루어질 수 있다. 또한 상황 감지부(200)는 서비스 대상자의 주변 상황을 감지하기 위하여 미리 정해진 위치 또는 프로젝터부(100)에 설치되어 서비스 대상자의 주변 환경을 촬영하는 카메라(210), 미리 정해진 위치 또는 프로젝터부(100)에 설치되어 서비스 대상자의 음성 또는 서비스 대상자의 주변 소리를 입력 받는 마이크(220), 서비스 대상자의 주변 온도를 감지하는 온도 센서(230) 또는 서비스 대상자의 주변 습도를 감지하는 습도 센서(240) 등을 포함할 수 있다. 예컨대, 상황 감지부(200)는 서비스 대상자의 집으로 손님이 방문하거나, 서비스 대상자의 전화벨이 울리는 상황 등을 감지하여 감지된 결과를 제어부(600)에 전달할 수 있다.In more detail, the
시선 감지부(300)는 서비스 대상자의 시선을 감지하는 카메라(210) 등으로 이루어질 수 있으며, 서비스 대상자의 시선을 감지할 수 있는 수단이면 무엇이든지 가능하다.The gaze detector 300 may include a
움직임 감지부(400)는 서비스 대상자의 움직임을 감지하는 수단으로서, 카메라(210), 적외선 센서 또는 가속도 센서, 자이로 센서 등으로 이루어질 수 있으며, 서비스 대상자의 움직임뿐만 아니라 서비스 대상자의 신체 크기 등도 감지할 수 있다. 그리고 움직임 감지부(400)가 프로젝터부(100)에 설치된 경우, 일정 주기에 따라 회전하는 프로젝터부(100)에 의해 일정 주기 별로 서비스 대상자의 움직임을 감지할 수 있다.The
저장부(500)는 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 태스크 목록에 대응하는 객체들의 위치 정보가 저장될 수 있다. 예컨대, 서비스 대상자의 상황으로서, 전화벨이 울리는 경우 전화를 받아야 하는 상황, 실내 온도가 높을 경우 에어컨을 구동시켜 실내 온도를 낮추거나, 화재가 발생된 경우 119에 신고해야 하는 상황 등과 같이 서비스 대상자의 상황에 따라 서비스 대상자가 수행해야 할 태스크 목록이 저장부(500)에 저장될 수 있고, 스케줄에 따른 태스크 목록으로서, 매일 아침 9시, 오전 12시, 오후 6시와 같이 약 먹을 시간이 되면 약을 찾아서 먹어야 하는 태스크, 병원을 가야 할 시간이 되면 세수를 하거나 옷을 찾아서 입는 태스크 등이 저장부(500)에 저장될 수 있다. 그리고 태스크 목록에 대응하는 객체들의 위치 정보로서, 약이 보관된 서랍의 위치, 옷이 보관된 옷장이나 서랍의 위치 또는 전화기의 위치 등이 저장부(500)에 저장될 수 있다. The
제어부(600)는 인지 보조 시스템(1)을 전반적으로 제어하며, 프로젝터부(100)에 내장되어 프로젝터부(100)와 일체로 구성되거나, 프로젝터부(100)와 통신하는 별도의 제어 단말로 이루어질 수 있다.The
제어부(600)는 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크를 결정하고, 프로젝터부(100)를 이용하여 결정된 태스크와 관련된 객체 또는 객체의 주변에 태스크 정보가 제공되도록 제어할 수 있다.The
보다 자세하게는, 제어부(600)는 상황 감지부(200)를 통해 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황이나 주변 환경을 인식하고, 인식된 정보를 기초로 서비스 대상자가 수행해야 할 태스크를 정할 수 있다. 그리고 제어부(600)는 서비스 대상자의 미리 정해진 스케줄에 따라 정해진 시간이 되면 해당 시간에 수행해야 할 태스크를 결정할 수 있다. 그런 후 제어부(600)가 프로젝터부(100)로 태스크 정보를 전송하면, 프로젝터부(100)는 서비스 대상자가 수행해야 할 태스크와 관련된 객체 또는 객체 주변에 태스크 정보를 투사하여 서비스 대상자에게 태스크를 알려줄 수 있다.In more detail, the
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 인지 기능을 보조하는 과정을 설명하기 위한 예시도들을 나타낸다.2A and 2B illustrate exemplary diagrams for describing a process of assisting a cognitive function according to an embodiment of the present invention.
도 2a와 같이, 상황 감지부(200)가 서비스 대상자의 전화벨이 울리는 것을 감지하면, 제어부(600)는 서비스 대상자의 전화벨이 울리는 상황에서는 서비스 대상자가 전화를 받아야 하는 태스크를 수행해야 하는 것을 결정할 수 있다. 그런 후, 제어부(600)는 전화를 받아야 하는 상황을 나타내는 태스크 정보 및 이와 관련된 정보를 프로젝터부(100)로 전송하여 프로젝터부(100)가 전화기가 위치한 장소로 이동하거나 전화기가 위치한 방향으로 회전한 후 전화기 또는 전화기 주변의 서랍에 태스크 정보 또는 조명을 투사할 수 있다. 그러면, 투사된 태스크 정보를 확인한 서비스 대상자는 전화벨이 울리는 것을 인식하여 전화를 받을 수 있게 된다. As shown in FIG. 2A, when the
또한 상황 감지부(200)가 벨이 울리거나 누군가 문을 두드리는 것을 감지하면, 제어부(600)는 벨이 울리거나 누군가 문을 두드리는 상황에서는 문을 열어야 하는 태스크를 수행해야 한다는 것을 결정할 수 있다. 그런 후, 제어부(600)는 문을 열어야 하는 상황을 나타내는 태스크 정보 및 이와 관련된 정보를 프로젝터부(100)로 전송하여 프로젝터부(100)가 문이 위치한 장소로 이동하거나 문이 위치한 방향으로 회전하도록 한 후 문에 태스크 정보 또는 조명을 투사할 수 있다. 그러면, 문에 투사된 태스크 정보를 확인한 서비스 대상자는 문을 열어서 방문객을 확인할 수 있게 된다.In addition, when the
그리고 제어부(600)는 약 먹을 시간이 되면, 프로젝터부(100)를 통해 약이 보관된 서랍이나 서랍 주변에 태스크 정보를 제공하여 사용자가 정해진 시간에 약을 먹을 수 있도록 보조할 수 있다.When the time to take medicine is provided, the
이외에 저장부(500)가 냉장고, 서랍, 부엌 또는 수납장 등의 내부에 있는 물건 정보를 등록 받아 저장하면, 제어부(600)는 미리 정해진 스케줄에 따라 사용자가 꺼내야 하는 내부 물건이 저장된 냉장고, 서랍, 부엌 또는 수납장 등의 표면에 제공되도록 프로젝터부(100)를 제어할 수 있다. In addition, when the
이때 제어부(600)는 프로젝터부(100)에서 제공되는 태스크 정보와 함께 출력부(700)를 통해서 태스크를 안내하는 소리가 출력되도록 제어할 수 있다.In this case, the
한편, 제어부(600)는 움직임 감지부(400)를 통해 서비스 대상자의 움직임을 감지하여 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 없으면, 시선 감지부(300)에서 감지된 서비스 대상자의 시선 방향에 따라 태스크를 가이드하기 위한 가이드 정보가 제공되도록 프로젝터부(100)를 제어할 수 있다. On the other hand, the
보다 자세하게는, 서비스 대상자가 다른 일에 집중하고 있거나 태스크 정보를 미처 보지 못한 경우에는 태스크를 빨리 수행하지 못할 수 있다. 이러한 문제점을 해결하기 위하여 제어부(600)는 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 있는지 판단하고, 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 서비스 대상자의 시선을 감지할 수 있다. 그런 후 프로젝터부(100)를 통해 서비스 대상자의 시선 방향을 따라 태스크를 가이드하기 위한 가이드 정보를 제공하여 서비스 대상자가 태스크를 인식하도록 한다. 이때 제어부(600)는 서비스 대상자의 시선이 태스크와 관련된 객체 또는 객체의 주변에 도착할 때까지 가이드 정보를 주기적 또는 연속적으로 제공할 수 있다.More specifically, the task may not be able to perform the task quickly if the service target concentrates on other tasks or does not see the task information. In order to solve this problem, the
도 3a 내지 도 3c는 본 발명의 다른 실시예에 따른 인지 기능 보조 과정을 설명하기 위한 예시도들을 나타낸다.3A to 3C illustrate exemplary diagrams for describing a cognitive function assisting process according to another exemplary embodiment of the present invention.
도 2a와 같이, 전화벨이 울리는 경우, 제어부(600)는 도 2b와 같이, 전화기에 태스크 정보가 투사되도록 프로젝터부(100)를 제어할 수 있는데. 일정 시간이 지나도 서비스 대상자가 전화를 받으려는 행동이 없는 경우, 시선 감지부(300)를 통해 서비스 대상자의 현재 시선을 감지할 수 있다. 그런 후 제어부(600)는 서비스 대상자의 현재 시선에 움직이는 애니메이션 등과 같이 주의를 환기시키거나 시선을 이끌어주는 가이드 정보가 투사되도록 제어하거나, 도 3a와 같이 방향을 나타내는 화살표 형태의 가이드 정보가 투사되도록 제어할 수 있다. 그런 후, 도 3b와 같이 화살표 방향에 따라 서비스 대상자의 시선이 이동되면 서비스 대상자의 시선 방향에 따라 화살표 방향의 가이드 정보의 위치가 전화기에 도착할 때까지 주기적 또는 연속적으로 제공할 수 있다. 그런 후, 가이드 정보의 위치가 전화기에 도착하면 제어부(600)는 도 3c와 같이, 태스크 정보를 제공하여 서비스 대상자가 태스크를 수행할 수 있도록 한다.As shown in FIG. 2A, when the phone rings, the
이와 같이, 제어부(600)는 태스크 정보를 제공한 후, 서비스 대상자의 반응 여부를 파악하여 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 가이드 정보를 제공하여 서비스 대상자가 빠르게 확인하도록 함으로써 서비스 대상자가 반드시 수행해야 할 태스크를 누락시키지 않고 반드시 수행할 수 있도록 한다.As such, after providing the task information, the
한편, 제어부(600)는 앞서 설명한 바와 같이, 객체 또는 객체 주변에 태스크 정보를 먼저 제공한 후, 일정 시간 동안 서비스 대상자의 반응이 없으면 서비스 대상자의 시선 방향에 가이드 정보를 제공할 수 있도록 구성될 수 있으나, 이외에 서비스 대상자의 시선을 먼저 감지하여 서비스 대상자의 시선 방향에 따라 가이드 정보를 준 후 서비스 대상자의 시선이 객체 또는 객체 주변에 도착하면 태스크 정보를 제공하는 것도 가능하다.On the other hand, as described above, the
도 4a 및 도 4b는 본 발명의 실시예에 따른 태스크 정보의 예시도들을 나타낸다.4A and 4B show exemplary diagrams of task information according to an embodiment of the present invention.
태스크 정보 및 가이드 정보는 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다. 이를 위하여 저장부(500)에는 서비스 대상자의 인지 기능 정도가 미리 측정되어 저장될 수 있다.The task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service target. To this end, the
도 4a와 같이, 인지 기능이 다소 떨어지는 서비스 대상자 즉 인지 기능 레벨이 낮은 서비스 대상자에게는 단순화된 사진, 그림, 기호 또는 조명의 점멸 형태로 태스크 정보 및 가이드 정보를 제공할 수 있으며, 인지 기능이 다소 높은 서비스 대상자 즉 인지 기능 레벨이 높은 서비스 대상자에게는 도 4b와 같이, 글자 또는 문자 등을 통해 서비스 대상자가 상세하게 인식할 수 있는 태스크 정보를 제공할 수 있다.As shown in FIG. 4A, a service subject who has a relatively low cognitive function, that is, a service subject having a low cognitive function level, may provide task information and guide information in the form of a simplified picture, picture, symbol, or lighting, and have a slightly higher cognitive function. As shown in FIG. 4B, the service target person, that is, the service target person having a high cognitive function level, may provide task information that the service target person can recognize in detail through letters or characters.
이와 같이, 서비스 대상자의 인지 기능 정도에 따라 맞춤형으로 태스크 정보를 제공하기 때문에 서비스 대상자는 태스크를 효과적으로 인식할 수 있게 된다.As such, since the task information is customized according to the degree of the cognitive function of the service subject, the service subject can effectively recognize the task.
제어부(600)는 서비스 대상자의 주변에 복수의 사람이 있는 경우, 카메라(210)에서 촬영된 얼굴 또는 신체 이미지를 이용하여 복수의 사람 중에서 서비스 대상자를 인식하고, 인식된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보가 제공되도록 제어할 수 있다. 즉 사람마다 얼굴 생김새 또는 신체의 크기가 다르기 때문에 제어부(600)는 카메라(210)에서 촬영된 복수의 얼굴 또는 신체 이미지를 분석하여 서비스 대상자를 식별할 수 있다.When there are a plurality of people in the vicinity of the service subject, the
한편, 복수의 서비스 대상자가 동일한 관찰 영역 내에 있는 경우, 카메라(210)에서 촬영된 얼굴 또는 신체의 이미지를 이용하여 복수의 서비스 대상자 중에서 현재 태스크를 수행해야 할 서비스 대상자를 인식하고, 인식된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보가 제공되도록 제어할 수 있다. 이때 복수의 서비스 대상자마다 인지 기능 정도 및 스케줄이 다르고, 이에 따라 서비스 대상자가 수행해야 할 태스크도 각각 다르기 때문에 현재 태스크를 수행해야 할 서비스 대상자를 인식하여 서비스 대상자에 맞는 태스크 정보를 제공할 수 있다.On the other hand, when a plurality of service subjects are within the same viewing area, using the image of the face or body taken by the
그리고 복수의 서비스 대상자에 대하여 인지 기능을 보조하고자 할 경우 제어부(600)는 인지 보조 순서를 정하여 정해진 순서에 따라 순차적으로 인지 보조 기능을 제공하거나, 동시 다발적으로 인지 보조 기능을 제공하는 것도 가능하다.In addition, in order to assist the cognitive function with respect to the plurality of service targets, the
또 한편, 제어부(600)는 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 통신부(800)를 통해 보호자 단말(50)에 제공할 수 있다. 서비스 대상자는 인지 기능 장애를 가진 환자이므로 서비스 대상자 스스로 대응하기 어려운 비상 상황이 발생되면, 이를 신속하게 보호자에게 알림으로써 서비스 대상자를 보호할 수 있도록 한다.In addition, the
통신부(800)는 통신망을 통해 보호자 단말(50) 및 복수의 서비스 대상자의 인지 기능을 보조하기 위한 각종 서비스를 수행하는 서비스 서버(70)와 각종 정보를 교환할 수 있다.The
여기서, 통신망(10)은 구내 정보 통신망(Local Area Network, LAN), 도시권 통신망(Metropolitan Area Network, MAN), 광역 통신망(Wide Area Network, WAN), 인터넷(internet), 3G(generation), 4G(generation) 이동통신망, 와이파이(Wi-Fi), WIBRO(Wireless Broadband Internet) 또는 LTE(Long Term Evolution) 등을 포함하는 각종 데이터 통신망을 포함할 수 있고, 유선과 무선을 가리지 않으며 어떠한 통신 방식을 사용하더라도 상관없다.Herein, the
이하에서는 본 발명의 일 실시예에 따른 인지 보조 방법에 대하여 설명하도록 한다.Hereinafter, a cognitive assistance method according to an embodiment of the present invention will be described.
도 5는 본 발명의 일 실시예에 따른 인지 보조 과정을 보여주는 동작 흐름도를 나타낸다.5 is an operation flowchart showing a cognitive assistance process according to an embodiment of the present invention.
도 5에 도시한 바와 같이, 서비스 대상자의 상황을 감지할 수 있다(S500). 즉 상황 감지부는 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황 또는 서비스 대상자의 주변 상황 등을 감지할 수 있다.As shown in FIG. 5, the situation of the service subject may be detected (S500). That is, the situation detection unit may detect a current state of a service target, a situation in which the service target is located, or a surrounding situation of the service target.
보다 자세하게는, 상황 감지부는 미리 정해진 위치 또는 프로젝터부에 설치되어 서비스 대상자를 촬영하는 카메라 또는 사용자의 신체 또는 의복에 착용되어 서비스 대상자의 현재 상태나 서비스 대상자가 처한 상황을 감지할 수 있는 웨어러블 센서 등으로 이루어질 수 있다. 또한 상황 감지부는 서비스 대상자의 주변 상황을 감지하기 위하여 미리 정해진 위치 또는 프로젝터부에 설치되어 서비스 대상자의 주변 환경을 촬영하는 카메라, 미리 정해진 위치 또는 프로젝터부에 설치되어 서비스 대상자의 음성 또는 서비스 대상자의 주변 소리를 입력 받는 마이크, 서비스 대상자의 주변 온도를 감지하는 온도 센서 또는 서비스 대상자의 주변 습도를 감지하는 습도 센서 등을 포함할 수 있다. 예컨대, 상황 감지부는 서비스 대상자의 집으로 손님이 방문하거나, 서비스 대상자의 전화벨이 울리는 상황 등을 감지하여 감지된 결과를 제어부에 전달할 수 있다.In more detail, the situation detection unit is installed in a predetermined position or a projector unit, wearable on the camera or the body of the user photographing the service subject, or wearable sensors that can detect the current state of the service subject or the situation of the service subject, etc. Can be made. In addition, the situation detection unit is installed in a predetermined position or the projector unit to detect the surrounding situation of the service subject to photograph the surrounding environment of the service subject, a predetermined position or installed in the projector unit, the voice of the service subject or the surrounding of the service subject It may include a microphone for receiving a sound, a temperature sensor for detecting the ambient temperature of the service target, or a humidity sensor for detecting the ambient humidity of the service target. For example, the situation detector may detect a situation in which a guest visits the service target's house or the user's telephone ringing, and transmits the detected result to the controller.
시선 감지부는 서비스 대상자의 시선을 감지하는 카메라 등으로 이루어질 수 있으며, 서비스 대상자의 시선을 감지할 수 있는 수단이면 무엇이든지 가능하다.The gaze detector may be configured as a camera for detecting the gaze of the service subject, and may be any means that can detect the gaze of the service subject.
움직임 감지부는 서비스 대상자의 움직임을 감지하는 수단으로서, 카메라, 적외선 센서 또는 가속도 센서, 자이로 센서 등으로 이루어질 수 있으며, 서비스 대상자의 움직임뿐만 아니라 서비스 대상자의 신체 크기 등도 감지할 수 있다. 그리고 움직임 감지부가 프로젝터부에 설치된 경우, 일정 주기에 따라 회전하는 프로젝터부에 의해 일정 주기 별로 서비스 대상자의 움직임을 감지할 수 있다.The motion detector is a means for detecting the movement of the service subject, and may include a camera, an infrared sensor or an acceleration sensor, a gyro sensor, and may detect not only the movement of the service subject but also the body size of the service subject. When the motion detection unit is installed in the projector unit, the movement of the service subject may be detected by the predetermined period by the projector unit rotating according to a predetermined period.
그리고 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크를 결정(S510)하고, 회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 결정된 태스크와 관련된 객체 또는 객체의 주변에 태스크 정보를 제공할 수 있다(S520).In operation S510, a task to be performed by the service target may be determined according to the detected service target situation or a predetermined schedule, and task information around the object or the object related to the task determined by using the projector installed to be rotatable and movable. It may provide (S520).
보다 자세하게는, 제어부는 상황 감지부를 통해 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황이나 주변 환경을 인식하고, 인식된 정보를 기초로 서비스 대상자가 수행해야 할 태스크를 정할 수 있다. 그리고 제어부는 서비스 대상자의 미리 정해진 스케줄에 따라 정해진 시간이 되면 해당 시간에 수행해야 할 태스크를 결정할 수 있다. 그런 후 제어부가 프로젝터부로 태스크 정보를 전송하면, 프로젝터부는 서비스 대상자가 수행해야 할 태스크와 관련된 객체 또는 객체 주변에 태스크 정보를 투사하여 서비스 대상자에게 태스크를 알려줄 수 있다.In more detail, the control unit recognizes the current state of the service target, the situation in which the service target is located or the surrounding environment, and determines a task to be performed by the service target based on the recognized information. The controller may determine a task to be performed at a corresponding time when the predetermined time is reached according to a predetermined schedule of the service target. Then, when the control unit transmits the task information to the projector unit, the projector unit may inform the service target of the task by projecting the task information around the object or the object related to the task to be performed by the service target.
그리고 저장부에 냉장고, 서랍, 부엌 또는 수납장 등의 내부에 있는 물건 정보가 저장되어 있으면, 제어부는 미리 정해진 스케줄에 따라 사용자가 꺼내야 하는 내부 물건이 저장된 냉장고, 서랍, 부엌 또는 수납장 등의 표면에 제공되도록 프로젝터부를 제어할 수 있다. If the storage unit stores object information in the refrigerator, drawer, kitchen or cabinet, the control unit provides the surface of the refrigerator, drawer, kitchen or cabinet, etc., in which the user has to take out the product according to a predetermined schedule. It is possible to control the projector unit so that.
이때 제어부는 프로젝터부에서 제공되는 태스크 정보와 함께 출력부를 통해서 태스크를 안내하는 소리가 출력되도록 제어할 수 있다.In this case, the controller may control a sound for guiding the task through an output unit together with task information provided from the projector unit.
한편, 제어부는 움직임 감지부를 통해 서비스 대상자의 움직임을 감지하여 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 없으면, 시선 감지부에서 감지된 서비스 대상자의 시선 방향에 따라 태스크를 가이드하기 위한 가이드 정보가 제공되도록 프로젝터부를 제어할 수 있다. On the other hand, the control unit detects the movement of the service target through the motion detection unit, if there is no response of the service target for a predetermined time from the time when the task information is provided, the gaze detection unit for guiding the task according to the direction of the service target detected by the service target The projector unit may be controlled to provide guide information.
보다 자세하게는, 서비스 대상자가 다른 일에 집중하고 있거나 태스크 정보를 미처 보지 못한 경우에는 태스크를 빨리 수행하지 못할 수 있다. 이러한 문제점을 해결하기 위하여 제어부는 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 있는지 판단하고, 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 서비스 대상자의 시선을 감지할 수 있다. 그런 후 프로젝터부를 통해 서비스 대상자의 시선 방향을 따라 태스크를 가이드하기 위한 가이드 정보를 제공하여 서비스 대상자가 태스크를 인식하도록 한다. 이때 제어부는 서비스 대상자의 시선이 태스크와 관련된 객체 또는 객체의 주변에 도착할 때까지 가이드 정보를 주기적 또는 연속적으로 제공할 수 있다.More specifically, the task may not be able to perform the task quickly if the service target concentrates on other tasks or does not see the task information. In order to solve this problem, the control unit may determine whether there is a response of the service target for a predetermined time from the time point at which the task information is provided, and detect the gaze of the service target when there is no response of the service target for the predetermined time. Then, the projector provides the guide information for guiding the task along the direction of the service target through the projector so that the service target recognizes the task. In this case, the controller may provide guide information periodically or continuously until the eyes of the service target arrive at an object related to the task or the vicinity of the object.
이와 같이, 제어부는 태스크 정보를 제공한 후, 서비스 대상자의 반응 여부를 파악하여 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 가이드 정보를 제공하여 서비스 대상자가 빠르게 확인하도록 함으로써 서비스 대상자가 반드시 수행해야 할 태스크를 누락시키지 않고 반드시 수행할 수 있도록 한다.As such, after providing the task information, the controller determines whether the service target responds and provides guide information when the service target does not respond for a predetermined time so that the service target can quickly check the service target. Make sure you do it without missing a task.
한편, 태스크 정보 및 가이드 정보는 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다. 이를 위하여 저장부에는 서비스 대상자의 인지 기능 정도가 미리 측정되어 저장될 수 있다.Meanwhile, the task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service target. To this end, the storage unit may measure and store the degree of the cognitive function of the service target in advance.
인지 기능이 다소 떨어지는 서비스 대상자 즉 인지 기능 레벨이 낮은 서비스 대상자에게는 단순화된 사진, 그림, 기호 또는 조명의 점멸 형태로 태스크 정보 및 가이드 정보를 제공할 수 있으며, 인지 기능이 다소 높은 서비스 대상자 즉 인지 기능 레벨이 높은 서비스 대상자에게는 글자 또는 문자 등을 통해 서비스 대상자가 상세하게 인식할 수 있는 태스크 정보를 제공할 수 있다.Service subjects with low cognitive function, that is, service subjects with low level of cognitive function, can provide task information and guide information in the form of simplified flashing of pictures, pictures, symbols or lights. High level service subjects may be provided with task information that can be recognized in detail by the service subjects through letters or characters.
이와 같이, 서비스 대상자의 인지 기능 정도에 따라 맞춤형으로 태스크 정보를 제공하기 때문에 서비스 대상자는 태스크를 효과적으로 인식할 수 있게 된다.As such, since the task information is customized according to the degree of the cognitive function of the service subject, the service subject can effectively recognize the task.
제어부는 서비스 대상자가 복수 명인 경우, 카메라에서 촬영된 서비스 대상자의 얼굴 이미지 또는 신체의 크기를 이용하여 태스크를 수행해야 할 서비스 대상자를 인식할 수 있다. 복수의 서비스 대상자가 같은 공간에 있는 경우 서비스 대상자마다 인지 기능 정도 및 스케줄이 다르고, 이에 따라 서비스 대상자가 수행해야 할 태스크도 다르기 때문에 서비스 대상자를 인식하는 기능을 수행함으로써 각 서비스 대상자에 맞는 태스크 정보를 제공할 수 있다.When there are a plurality of service subjects, the controller may recognize a service subject to perform a task using a face image or a body size of the service subject photographed by the camera. If multiple service targets are in the same space, each service target has a different degree of cognitive function and schedule, and accordingly, different tasks must be performed by the service target. Therefore, the service target can be recognized to perform task information for each service target. Can provide.
한편, 제어부는 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 통신부를 통해 보호자 단말에 제공할 수 있다. 서비스 대상자는 인지 기능 장애를 가진 환자이므로 서비스 대상자 스스로 대응하기 어려운 비상 상황이 발생되면, 이를 신속하게 보호자에게 알림으로써 서비스 대상자를 보호할 수 있도록 한다.On the other hand, the controller may determine whether an emergency occurs based on the detected situation of the service target, and if an emergency occurs to the service target, the emergency occurrence information may be provided to the guardian terminal through the communication unit. Since the service target is a patient with cognitive impairment, if the emergency occurs that the service target cannot respond to the service, the service target can be protected by promptly notifying the guardian.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 인지 보조 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations. This medium records a program for executing the above-described cognitive assistance method. The media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like. Hardware devices configured to store and perform such operations. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
1: 인지 보조 시스템
100: 프로젝터부
200: 상황 감지부
300: 시선 감지부
400: 움직임 감지부
500: 저장부
600: 제어부
700: 출력부
800: 통신부1: Cognitive Assistance System
100: projector unit
200: situation detection unit
300: eye detection unit
400: motion detection unit
500: storage unit
600: control unit
700: output unit
800: communication unit
Claims (20)
서비스 대상자의 상황을 감지하는 상황 감지부,
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하고, 상기 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부, 그리고
상기 서비스 대상자의 시선을 감지하는 시선 감지부
를 포함하고,
상기 제어부는,
상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응이 없으면, 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보가 제공되도록 상기 프로젝터부를 제어하는 인지 보조 시스템. Projector unit installed to be rotatable and movable,
A situation detecting unit detecting a situation of a service subject;
A control unit for determining a task to be performed by the service target according to the detected service target situation or a predetermined schedule, and controlling to provide task information to an object related to the determined task or the periphery of the object using the projector; , And
A gaze detector for detecting a gaze of the service subject
Including,
The control unit,
And the projector unit controls the projector unit to provide guide information for guiding the task according to the detected direction of the service subject when there is no response of the service subject for a predetermined time from the time point at which the task information is provided.
상기 가이드 정보는,
상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공되는 인지 보조 시스템. In claim 2,
The guide information,
A cognitive assistance system provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.
상기 서비스 대상자의 움직임을 감지하는 움직임 감지부를 더 포함하고,
상기 제어부는,
상기 서비스 대상자의 움직임의 유무를 이용하여 상기 서비스 대상자의 반응 여부를 판단하는 인지 보조 시스템. In claim 2,
Further comprising a motion detector for detecting the movement of the service subject,
The control unit,
Cognitive assistance system for determining whether or not the response of the service target by using the presence or absence of the movement of the service target.
상기 태스크 정보 및 상기 가이드 정보는,
상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공되는 인지 보조 시스템. In claim 2,
The task information and the guide information,
A cognitive assistance system provided in a different kind or form according to the degree of cognitive function of the service target.
상기 상황 감지부는,
상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 포함하는 인지 보조 시스템.In claim 2,
The situation detection unit,
Among the camera photographing the surroundings of the service subject and the service subject, a microphone that receives the ambient sound of the service subject, a temperature sensor detecting the ambient temperature of the service subject, and a humidity sensor detecting the ambient humidity of the service subject A cognitive assistance system comprising at least one.
상기 제어부는,
상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식하는 인지 보조 시스템. In claim 6,
The control unit,
If there are a plurality of people in the vicinity of the service subject, the cognitive assistance system that recognizes the service target to perform the task using the face or body image taken by the camera.
서비스 대상자의 상황을 감지하는 상황 감지부, 그리고
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하고, 상기 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부
를 포함하고,
상기 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 저장부를 더 포함하는 인지 보조 시스템. Projector unit installed to be rotatable and movable,
A situation detecting unit detecting a situation of a service subject, and
A control unit for determining a task to be performed by the service target according to the detected service target situation or a predetermined schedule, and controlling to provide task information to an object related to the determined task or the periphery of the object using the projector;
Including,
And a storage unit for storing information about a situation of the service target, a task list according to a schedule, and location information of objects corresponding to the task list.
상기 프로젝터부는,
중심에 있는 회전축을 따라 회전 가능하게 구성되고,
미리 설치된 레일을 따라 이동 가능하게 구성되는 인지 보조 시스템. In claim 2 or 8,
The projector unit,
Configured to rotate along a central axis of rotation,
Cognitive assistance system configured to move along a pre-installed rail.
상기 제어부는,
상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보가 보호자 단말에 제공되도록 제어하는 인지 보조 시스템. In claim 2 or 8,
The control unit,
The cognitive assistance system determines whether an emergency situation occurs based on the detected service target situation, and if the emergency target occurs in the service target, emergency occurrence information is provided to the guardian terminal.
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하는 단계,
회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보를 제공하는 단계,
상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응 여부를 판단하고, 상기 서비스 대상자의 반응이 없으면, 상기 서비스 대상자의 시선을 감지하는 단계, 그리고
상기 프로젝터부를 이용하여 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보를 제공하는 단계를 포함하는 인지 보조 방법. Detecting the situation of the service subject,
Determining a task to be performed by the service target according to the detected service target situation or a predetermined schedule;
Providing task information to an object related to the determined task or to the periphery of the object using a projector unit rotatably and movable;
Determining whether the service subject responds for a predetermined time from when the task information is provided, and if there is no response of the service subject, detecting a gaze of the service subject; and
And providing guide information for guiding the task according to the detected gaze direction of the service subject by using the projector unit.
상기 가이드 정보는,
상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공되는 인지 보조 방법.In claim 12,
The guide information,
A cognitive assistance method that is provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.
상기 서비스 대상자의 움직임을 감지하는 단계를 더 포함하고,
상기 서비스 대상자의 반응 여부는,
상기 서비스 대상자의 움직임의 유무를 이용하여 판단되는 인지 보조 방법. In claim 12,
Detecting the movement of the service subject;
Whether the service target responds,
Cognitive assistance method that is determined using the presence or absence of the movement of the service target.
상기 태스크 정보 및 상기 가이드 정보는,
상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공되는 인지 보조 방법. In claim 12,
The task information and the guide information,
A cognitive assistance method provided in a kind or form differently according to the degree of cognitive function of the service subject.
상기 서비스 대상자의 상황은,
상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 이용하여 감지되는 인지 보조 방법.In claim 12,
The situation of the service target person,
Among the camera photographing the surroundings of the service subject and the service subject, a microphone that receives the ambient sound of the service subject, a temperature sensor detecting the ambient temperature of the service subject, and a humidity sensor detecting the ambient humidity of the service subject A cognitive assistance method sensed using at least one.
상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식하는 단계를 더 포함하는 인지 보조 방법. The method of claim 16,
If there are a plurality of people in the vicinity of the service subject, the cognitive assistance method further comprising the step of recognizing the service target to perform the task using the face or body image taken by the camera.
상기 서비스 대상자의 상황을 감지하는 단계,
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하는 단계, 그리고
회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보를 제공하는 단계
를 포함하는 인지 보조 방법. Storing the status of the service subject, a task list according to a schedule, and location information of objects corresponding to the task list,
Detecting a situation of the service subject;
Determining a task to be performed by the service subject according to the detected situation of the service subject or a predetermined schedule, and
Providing task information to an object related to the determined task or to the periphery of the object by using a projector unit which is rotatably and movable;
Cognitive assistance method comprising a.
상기 프로젝터부는,
중심에 있는 회전축을 따라 회전 가능하게 구성되고,
미리 설치된 레일을 따라 이동 가능하게 구성되는 인지 보조 방법. The method of claim 12 or 18,
The projector unit,
Configured to rotate along a central axis of rotation,
A cognitive assistance method configured to be movable along a pre-installed rail.
상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하는 단계, 그리고
상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 보호자 단말에 제공하는 단계를 더 포함하는 인지 보조 방법.The method of claim 12 or 18,
Determining whether an emergency occurs based on the detected situation of the service subject; and
When the emergency situation occurs in the service target person, providing the emergency occurrence information to the guardian terminal further comprising the cognitive assistance method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170127229A KR102014095B1 (en) | 2017-09-29 | 2017-09-29 | Recognition Support System and Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170127229A KR102014095B1 (en) | 2017-09-29 | 2017-09-29 | Recognition Support System and Method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190037663A KR20190037663A (en) | 2019-04-08 |
KR102014095B1 true KR102014095B1 (en) | 2019-08-27 |
Family
ID=66164123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170127229A KR102014095B1 (en) | 2017-09-29 | 2017-09-29 | Recognition Support System and Method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102014095B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006523067A (en) * | 2003-04-11 | 2006-10-05 | 三菱電機株式会社 | How to display an output image on an object |
JP2011170279A (en) * | 2010-02-22 | 2011-09-01 | Sakawa:Kk | Method for constructing interactive environment and projector self-advancing supporting device used for the same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100071751A (en) | 2008-12-19 | 2010-06-29 | 주식회사 케이티 | Method for providing dementia life guide service |
KR20160041203A (en) * | 2014-10-07 | 2016-04-18 | 주식회사 제너럴유스 | Living-alone elder care system using ontology |
-
2017
- 2017-09-29 KR KR1020170127229A patent/KR102014095B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006523067A (en) * | 2003-04-11 | 2006-10-05 | 三菱電機株式会社 | How to display an output image on an object |
JP2011170279A (en) * | 2010-02-22 | 2011-09-01 | Sakawa:Kk | Method for constructing interactive environment and projector self-advancing supporting device used for the same |
Also Published As
Publication number | Publication date |
---|---|
KR20190037663A (en) | 2019-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11037300B2 (en) | Monitoring system | |
US20230304803A1 (en) | Emergency drone guidance device | |
JP7303288B2 (en) | User interface for configuring the thermal imaging system | |
US10819904B2 (en) | Image processing device and image providing method therefor | |
US10062258B2 (en) | Floodlight controllers with wireless audio/video recording and communication features | |
EP3583485A1 (en) | Computationally-efficient human-identifying smart assistant computer | |
US10445587B2 (en) | Device and method for automatic monitoring and autonomic response | |
US10791420B2 (en) | Information processing device and information processing method | |
JP7151835B2 (en) | Information processing device, information processing method and program | |
US10755537B1 (en) | Implementing deterrent protocols in response to detected security events | |
US10957174B2 (en) | Communication-linked floodlight controllers with audio/video recording and communication features | |
JP5114924B2 (en) | Warning method by security robot system and security robot system | |
JPWO2016072118A1 (en) | Information processing system, storage medium, and control method | |
US11875571B2 (en) | Smart hearing assistance in monitored property | |
US20230049228A1 (en) | Solution for generating a touchless elevator call | |
EP3893215A1 (en) | Information processing device, information processing method, and program | |
JP2020522828A (en) | Computer vision based surveillance system and method | |
WO2018016142A1 (en) | Information processing system, information processing device, information processing method, and program | |
JP2018156453A (en) | System, method, and program for providing images | |
KR102014095B1 (en) | Recognition Support System and Method | |
JP2021087103A (en) | Information processing device, control method of the same, and program | |
WO2020241034A1 (en) | Monitoring system and monitoring method | |
JP7334686B2 (en) | Controllers, programs and control systems | |
US20230053823A1 (en) | Device, system and method for controlling environmental devices at a smart building to assist a first responder | |
JP7009021B2 (en) | Abnormal person prediction system, abnormal person prediction method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |