KR102014095B1 - Recognition Support System and Method - Google Patents

Recognition Support System and Method Download PDF

Info

Publication number
KR102014095B1
KR102014095B1 KR1020170127229A KR20170127229A KR102014095B1 KR 102014095 B1 KR102014095 B1 KR 102014095B1 KR 1020170127229 A KR1020170127229 A KR 1020170127229A KR 20170127229 A KR20170127229 A KR 20170127229A KR 102014095 B1 KR102014095 B1 KR 102014095B1
Authority
KR
South Korea
Prior art keywords
service
task
situation
subject
service subject
Prior art date
Application number
KR1020170127229A
Other languages
Korean (ko)
Other versions
KR20190037663A (en
Inventor
권효순
송원경
김현경
신준호
권순철
Original Assignee
대한민국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국 filed Critical 대한민국
Priority to KR1020170127229A priority Critical patent/KR102014095B1/en
Publication of KR20190037663A publication Critical patent/KR20190037663A/en
Application granted granted Critical
Publication of KR102014095B1 publication Critical patent/KR102014095B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06K9/00335
    • G06K9/00597
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Abstract

본 발명은 인지 보조 시스템 및 방법에 관한 것으로, 본 발명에 따른 시스템은 회전 및 이동 가능하게 설치되는 프로젝터부, 서비스 대상자의 상황을 감지하는 상황 감지부, 그리고 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크를 결정하고, 프로젝터부를 이용하여 결정된 태스크와 관련된 객체 또는 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부를 포함한다. 본 발명에 의하면, 회전 및 이동 가능하게 설치된 프로젝터부가 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보를 태스크와 관련된 객체 또는 객체의 주변에 제공함으로써 치매 또는 인지 기능 장애를 가진 서비스 대상자의 인지 기능을 보조할 수 있다.The present invention relates to a cognitive assistance system and method, the system according to the present invention is installed in a rotatable and moveable, the situation detection unit for detecting the situation of the service target, and the detected situation of the service target or a predetermined schedule And a control unit for determining a task to be performed by the service target and controlling the task information to be provided around the object or the object related to the task determined using the projector unit. According to the present invention, the projector unit rotatably and movable is provided with task information to be performed by the service target in accordance with the situation of the service target or a predetermined schedule to provide an object related to the task or the periphery of the object, thereby having dementia or cognitive impairment. Cognitive function of service subject can be assisted.

Figure R1020170127229
Figure R1020170127229

Description

인지 보조 시스템 및 방법{Recognition Support System and Method}Recognition Support System and Method

본 발명은 인지 보조 시스템 및 방법에 관한 것으로, 보다 자세하게는 치매 또는 인지 기능 장애를 가진 환자의 인지 기능을 보조하여 환자가 스스로 생활할 수 있도록 지원하는 인지 보조 시스템 및 방법에 관한 것이다.The present invention relates to a cognitive assistance system and method, and more particularly, to a cognitive assistance system and method for assisting a patient to live by assisting the cognitive function of a patient with dementia or cognitive dysfunction.

최근 들어, 전 세계가 빠른 속도로 고령화 사회로 진입하고 있으며, 이에 따라 인간은 질병 없이 건강하게 장수할 수 있는 높은 삶의 질을 추구하고 있다. 과학의 발달로 인한 수명의 연장으로 노인 인구가 증가하면서, 신경 퇴행성 질환인 치매 환자의 비율도 급증하고 있다. 이와 더불어 과학기술의 발전으로 인한 현대 사회의 복잡화 또는 고도화 등에 따라 현대인의 스트레스가 증가하고 이로 인하여 중장년 층에서도 치매 현상이 발생하고 있다.In recent years, the world is rapidly entering an aging society, and accordingly, humans are pursuing a high quality of life that can be healthy and healthy without disease. As the life expectancy increases due to the development of science, the proportion of dementia patients with neurodegenerative diseases is increasing rapidly. In addition, the stress of modern people increases due to the complicated or advanced modern society due to the development of science and technology, and dementia phenomenon occurs in the middle-aged people.

일반적으로, 알츠하이머병(Alzheimer's Disease)을 비롯한 노인성 치매는 점진적으로 인지 기능이 소실되는 질환으로서, 개인적으로나 사회적으로 삶의 질을 크게 떨어뜨리고 본인과 주변의 사람들을 불행하게 만들며, 암, 심장질환 및 뇌졸중에 이어 노인 사망의 네 번째 원인이 되고 있다.In general, senile dementia, including Alzheimer's disease, is a gradual loss of cognitive function that significantly reduces the quality of life, both personally and socially, makes people and people around them unhappy, and develops cancer, heart disease, Following stroke, it is the fourth leading cause of death for the elderly.

이러한 인지 기능 장애는 주의력 감소, 학습 능력의 감소, 기억력 감퇴 또는 감각 인지 기능 등으로 나타나고, 기억력의 장애는 흔한 증상으로서 대부분 과거의 사건에 대한 기억력은 온전하지만 새로운 정보를 기억하고 배우는 기능에 장애가 발생될 수도 있다.These cognitive impairments are manifested as decreased attention, decreased learning ability, decreased memory, or sensory cognitive function. Memory impairment is a common symptom, and most of the memory of past events is intact but impaired in learning and learning new information. May be

하지만, 이러한 치매 또는 인지 기능 장애를 가진 환자에게 발생하는 기억력 약화나 상실 등에 대하여 보조해준다면 이들도 정상적으로 생활할 수 있기 때문에 치매 또는 인지 기능 장애를 가진 환자 스스로가 자신의 생활을 원활하게 영위할 수 있도록 환자의 상황이나 일정에 따라 수행해야 할 임무를 안내하고 지원하는 방안이 요구되었다.However, if you help them with memory loss or loss that occurs in patients with dementia or cognitive dysfunction, they can live normally, so patients with dementia or cognitive dysfunction can live their lives smoothly. It was required to guide and support the tasks to be performed according to the patient's situation or schedule.

한국공개특허공보 제2010-0071751호 (공개일 2010. 06. 29.)Korean Laid-Open Patent Publication No. 2010-0071751 (published 2010. 06. 29.)

따라서 본 발명이 해결하고자 하는 기술적 과제는 회전 및 이동 가능하게 설치된 프로젝터부가 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보를 태스크와 관련된 객체 또는 객체의 주변에 제공함으로써 치매 또는 인지 기능 장애를 가진 서비스 대상자의 인지 기능을 보조할 수 있는 인지 보조 시스템 및 방법을 제공하는 것이다.Therefore, the technical problem to be solved by the present invention is to provide dementia or the like by providing the task information to be performed by the service target according to the situation of the service target or a predetermined schedule, the projector unit is installed to rotate and move around the object or the object associated with the task It is to provide a cognitive assistance system and method that can assist the cognitive function of a service subject with cognitive impairment.

또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.In addition to the objects explicitly stated, the present invention also includes other objects that can be achieved from the configurations of the present invention described below.

상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인지 보조 시스템은 회전 및 이동 가능하게 설치되는 프로젝터부, 서비스 대상자의 상황을 감지하는 상황 감지부, 그리고 상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하고, 상기 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부를 포함한다.The cognitive assistance system according to an embodiment of the present invention for solving the above technical problem is a projector unit installed to be rotatable and movable, a situation detecting unit detecting a situation of a service subject, and the detected situation of a service subject or And a controller configured to determine a task to be performed by the service target according to a predetermined schedule, and to control task information to be provided around the object or the object related to the determined task by using the projector unit.

상기 서비스 대상자의 시선을 감지하는 시선 감지부를 더 포함하고, 상기 제어부는 상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응이 없으면, 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보가 제공되도록 상기 프로젝터부를 제어할 수 있다.The apparatus may further include a gaze detector configured to detect a gaze of the service subject, and the controller may perform the task according to the detected gaze direction of the service subject when there is no response of the service subject for a predetermined time from when the task information is provided. The projector unit may be controlled to provide guide information for guiding.

상기 가이드 정보는 상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공될 수 있다.The guide information may be provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.

상기 서비스 대상자의 움직임을 감지하는 움직임 감지부를 더 포함하고, 상기 제어부는 상기 서비스 대상자의 움직임의 유무를 이용하여 상기 서비스 대상자의 반응 여부를 판단할 수 있다.The apparatus may further include a motion detector configured to detect a movement of the service subject, and the controller may determine whether the service subject reacts using the presence or absence of the movement of the service subject.

상기 태스크 정보 및 상기 가이드 정보는 상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다.The task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service subject.

상기 상황 감지부는 상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력 받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 포함할 수 있다.The situation detection unit detects the surroundings of the service person and the service person, a microphone for receiving the ambient sound of the service person, a temperature sensor for detecting the ambient temperature of the service person, and the ambient humidity of the service person. It may include at least one of the humidity sensor.

상기 제어부는 상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식할 수 있다. When there are a plurality of people around the service subject, the controller may recognize a service subject to perform the task using a face or body image photographed by the camera.

상기 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 저장부를 더 포함할 수 있다.The apparatus may further include a storage configured to store the situation of the service target, a task list according to a schedule, and location information of objects corresponding to the task list.

상기 프로젝터부는 중심에 있는 회전축을 따라 회전 가능하게 구성되고, 미리 설치된 레일을 따라 이동 가능하게 구성될 수 있다.The projector unit may be configured to be rotatable along a rotational axis in the center and to be movable along a pre-installed rail.

상기 제어부는 상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보가 보호자 단말에 제공되도록 제어할 수 있다.The controller may determine whether an emergency occurs on the basis of the detected situation of the service subject, and control the emergency occurrence information to be provided to the guardian terminal when an emergency occurs in the service subject.

한편, 본 발명의 일 실시예에 따른 인지 보조 방법은 서비스 대상자의 상황을 감지하는 단계, 상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하는 단계, 그리고 회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보를 제공하는 단계를 포함한다.On the other hand, the cognitive assistance method according to an embodiment of the present invention includes the steps of detecting the situation of the service target, determining the task to be performed by the service target according to the detected situation of the service target or a predetermined schedule, and And providing task information to an object related to the determined task or to the periphery of the object using a projector unit rotatably and movable.

상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응 여부를 판단하고, 상기 서비스 대상자의 반응이 없으면, 상기 서비스 대상자의 시선을 감지하는 단계, 그리고 상기 프로젝터부를 이용하여 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보를 제공하는 단계를 더 포함할 수 있다.Determining whether the service subject responds to the service subject for a predetermined time from the time point at which the task information is provided, and if there is no response of the service subject, detecting the gaze of the service subject, and the detected service subject using the projector unit The method may further include providing guide information for guiding the task according to a direction of the eye.

상기 가이드 정보는 상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공될 수 있다.The guide information may be provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.

상기 서비스 대상자의 움직임을 감지하는 단계를 더 포함하고, 상기 서비스 대상자의 반응 여부는 상기 서비스 대상자의 움직임의 유무를 이용하여 판단될 수 있다.The method may further include detecting a movement of the service subject, and whether the service subject responds may be determined using the presence or absence of the movement of the service subject.

상기 태스크 정보 및 상기 가이드 정보는 상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다.The task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service subject.

상기 서비스 대상자의 상황은 상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력 받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 이용하여 감지될 수 있다.The situation of the service subject includes a camera photographing the environment of the service subject and the service subject, a microphone that receives the ambient sound of the service subject, a temperature sensor detecting the ambient temperature of the service subject, and the ambient humidity of the service subject It may be detected using at least one of the humidity sensor for detecting the.

상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식하는 단계를 더 포함할 수 있다.When there are a plurality of people around the service subject, the method may further include recognizing a service subject to perform the task using a face or body image photographed by the camera.

상기 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 단계를 더 포함할 수 있다.The method may further include storing information about a situation of the service target, a task list according to a schedule, and location information of objects corresponding to the task list.

상기 프로젝터부는 중심에 있는 회전축을 따라 회전 가능하게 구성되고, 미리 설치된 레일을 따라 이동 가능하게 구성될 수 있다.The projector unit may be configured to be rotatable along a rotational axis in the center and to be movable along a pre-installed rail.

상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하는 단계, 그리고 상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 보호자 단말에 제공하는 단계를 더 포함할 수 있다.The method may further include determining whether an emergency occurs based on the detected situation of the service subject, and providing emergency occurrence information to the guardian terminal when the emergency occurs.

이와 같이 본 발명의 실시예에 따른 인지 보조 시스템 및 방법에 따르면, 회전 및 이동 가능하게 설치된 프로젝터부가 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보를 태스크와 관련된 객체 또는 객체의 주변에 제공함으로써 치매 또는 인지 기능 장애를 가진 서비스 대상자의 인지 기능을 보조할 수 있는 장점이 있다.As described above, according to the cognitive assistance system and method, an object or an object related to a task includes information about a task to be performed by a service target according to a situation of a service target or a predetermined schedule. By providing in the vicinity of the advantage that can assist the cognitive function of the service subjects with dementia or cognitive dysfunction.

그리고 태스크 정보를 제공한 후 일정 시간 동안 서비스 대상자의 반응이 없으면, 사용자의 시선 방향에 움직이는 애니메이션 등과 같이 주의를 환기시키거나 화살표와 같이 태스크를 가이드하기 위한 가이드 정보를 제공함으로써 서비스 대상자가 태스크를 인식할 수 있도록 지원할 수 있다.If there is no response from the service subject for a certain time after providing the task information, the service target recognizes the task by providing guide information for drawing attention such as animation moving in the user's gaze direction or guiding the task as an arrow. I can support them.

이와 같이, 치매 또는 인지 기능 장애를 가진 서비스 대상자에게 필요한 태스크를 서비스 대상자의 상황이나 스케줄에 따라 쉽게 알려줄 수 있고, 서비스 대상자의 인지 기능 정도에 따라 맞춤형으로 태스크 정보를 제공하기 때문에 서비스 대상자는 스스로 일생 생활을 영위할 수 있는 장점이 있다.As such, it is possible to easily inform the service subjects with dementia or cognitive impairment according to the situation or schedule of the service subjects, and provide the task information tailored according to the degree of cognitive function of the service subjects. There is an advantage to living.

한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.On the other hand, the effects of the present invention are not limited to those described above, and other effects that can be derived from the configuration of the present invention described later are included in the effects of the present invention.

도 1은 본 발명의 일 실시예에 따른 인지 보조 시스템의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 인지 기능을 보조하는 과정을 설명하기 위한 예시도들이다.
도 3a 내지 도 3c는 본 발명의 다른 실시예에 따른 인지 기능을 보조하는 과정을 설명하기 위한 예시도들이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 태스크 정보의 예시도들이다.
도 5는 본 발명의 일 실시예에 따른 인지 보조 과정을 보여주는 동작 흐름도이다.
1 is a block diagram of a cognitive assistance system according to an embodiment of the present invention.
2A and 2B are exemplary diagrams for describing a process of assisting a cognitive function according to an embodiment of the present invention.
3A to 3C are exemplary diagrams for describing a process of assisting a cognitive function according to another embodiment of the present invention.
4A and 4B are exemplary diagrams of task information according to an embodiment of the present invention.
5 is an operation flowchart showing a cognitive assistance process according to an embodiment of the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 일 실시예에 따른 인지 보조 시스템의 구성도를 나타낸다.1 is a block diagram of a cognitive assistance system according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 인지 보조 시스템(1)은 프로젝터부(100), 상황 감지부(200), 시선 감지부(300), 움직임 감지부(400), 저장부(500), 제어부(600), 출력부(700) 및 통신부(800)를 포함하여 구성된다.As shown in FIG. 1, the cognitive assistance system 1 includes a projector unit 100, a situation detector 200, a gaze detector 300, a motion detector 400, a storage 500, and a controller ( 600), the output unit 700 and the communication unit 800 is configured to include.

프로젝터부(100)는 사진, 그림 또는 문자 등과 같은 정보를 광원으로부터 조사되는 빛을 통해 미리 정해진 위치에 투사하는 영사 장치로 이루어질 수 있다.The projector unit 100 may be a projection apparatus that projects information such as a photo, a picture, or a character to a predetermined position through light emitted from a light source.

프로젝터부(100)는 서비스 대상자가 위치할 수 있는 실내외 공간에 설치될 수 있다. 예컨대, 프로젝터부(100)가 복수 개인 경우, 복수 개의 프로젝터부(100)는 서비스 대상자가 위치할 수 있는 거실, 주방, 안방 또는 출입구의 천장 등에 각각 설치될 수 있으며, 단일의 프로젝터부(100)인 경우, 거실, 주방, 안방 또는 출입구 등을 하나로 연결하는 레일이 설치되고 프로젝터부(100)가 레일을 따라 원하는 장소로 이동 가능하도록 구성될 수 있다.The projector unit 100 may be installed in an indoor / outdoor space where a service target person may be located. For example, when there are a plurality of projector units 100, the plurality of projector units 100 may be respectively installed in a living room, a kitchen, a room, or a ceiling of an entrance where a service subject may be located, and the single projector unit 100. In the case, a rail connecting the living room, the kitchen, the room or the entrance and the like is installed, and the projector unit 100 may be configured to be moved to a desired place along the rail.

프로젝터부(100)는 중심에 있는 회전축을 따라 360도 방향으로 회전 가능하도록 로테이터(rotator) 및 로테이터를 회전시키는 모터 등을 구비할 수 있으며, 레일을 따라 이동하기 위해서는 모터에 의해 구동되는 바퀴 등을 구비할 수 있다.The projector unit 100 may include a rotator and a motor for rotating the rotator so as to be rotated in a 360 degree direction along a rotation axis at the center thereof. In order to move along a rail, a wheel driven by a motor may be used. It can be provided.

프로젝터부(100)는 제어부(600)의 제어에 따라 소정의 장소로 이동하거나 소정의 방향으로 회전한 상태에서 제어부(600)로부터 전송 받은 태스크 정보 또는 가이드 정보를 소정의 위치로 투사할 수 있다. The projector unit 100 may project task information or guide information received from the controller 600 to a predetermined position while moving to a predetermined place or rotating in a predetermined direction under the control of the controller 600.

상황 감지부(200)는 서비스 대상자의 상황을 감지할 수 있는데, 보다 자세하게는 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황 또는 서비스 대상자의 주변 상황 등을 감지할 수 있다.The situation detecting unit 200 may detect a situation of the service subject, and more specifically, may detect a current state of the service subject, a situation in which the service subject is present, or a surrounding situation of the service subject.

보다 자세하게는, 상황 감지부(200)는 미리 정해진 위치 또는 프로젝터부(100)에 설치되어 서비스 대상자를 촬영하는 카메라(210) 또는 사용자의 신체 또는 의복에 착용되어 서비스 대상자의 현재 상태나 서비스 대상자가 처한 상황을 감지할 수 있는 웨어러블 센서(미도시) 등으로 이루어질 수 있다. 또한 상황 감지부(200)는 서비스 대상자의 주변 상황을 감지하기 위하여 미리 정해진 위치 또는 프로젝터부(100)에 설치되어 서비스 대상자의 주변 환경을 촬영하는 카메라(210), 미리 정해진 위치 또는 프로젝터부(100)에 설치되어 서비스 대상자의 음성 또는 서비스 대상자의 주변 소리를 입력 받는 마이크(220), 서비스 대상자의 주변 온도를 감지하는 온도 센서(230) 또는 서비스 대상자의 주변 습도를 감지하는 습도 센서(240) 등을 포함할 수 있다. 예컨대, 상황 감지부(200)는 서비스 대상자의 집으로 손님이 방문하거나, 서비스 대상자의 전화벨이 울리는 상황 등을 감지하여 감지된 결과를 제어부(600)에 전달할 수 있다.In more detail, the situation detecting unit 200 is installed at a predetermined position or the projector unit 100 and is worn on the camera 210 or the user's body or clothing that photographs the service target, so that the current target or service target of the service target It may be made of a wearable sensor (not shown) capable of detecting a situation. In addition, the situation detecting unit 200 is installed in a predetermined position or the projector unit 100 to detect the surrounding situation of the service target, the camera 210 for photographing the surrounding environment of the service target, the predetermined position or the projector unit 100 Installed in the microphone) to receive the service person's voice or the service person's ambient sound, a temperature sensor 230 for detecting the ambient temperature of the service person, or a humidity sensor 240 for detecting the ambient humidity of the service person. It may include. For example, the situation detecting unit 200 may detect a situation in which a visitor visits the service target's house or the user's telephone ringing, and transmits the detected result to the control unit 600.

시선 감지부(300)는 서비스 대상자의 시선을 감지하는 카메라(210) 등으로 이루어질 수 있으며, 서비스 대상자의 시선을 감지할 수 있는 수단이면 무엇이든지 가능하다.The gaze detector 300 may include a camera 210 that detects the gaze of the service target, and any means may be used as long as it can detect the gaze of the service target.

움직임 감지부(400)는 서비스 대상자의 움직임을 감지하는 수단으로서, 카메라(210), 적외선 센서 또는 가속도 센서, 자이로 센서 등으로 이루어질 수 있으며, 서비스 대상자의 움직임뿐만 아니라 서비스 대상자의 신체 크기 등도 감지할 수 있다. 그리고 움직임 감지부(400)가 프로젝터부(100)에 설치된 경우, 일정 주기에 따라 회전하는 프로젝터부(100)에 의해 일정 주기 별로 서비스 대상자의 움직임을 감지할 수 있다.The motion detection unit 400 is a means for detecting the movement of the service subject, and may include a camera 210, an infrared sensor, an acceleration sensor, a gyro sensor, and the like. Can be. When the motion detection unit 400 is installed in the projector unit 100, the movement of the service target may be detected by the projector unit 100 rotating according to a predetermined period.

저장부(500)는 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 태스크 목록에 대응하는 객체들의 위치 정보가 저장될 수 있다. 예컨대, 서비스 대상자의 상황으로서, 전화벨이 울리는 경우 전화를 받아야 하는 상황, 실내 온도가 높을 경우 에어컨을 구동시켜 실내 온도를 낮추거나, 화재가 발생된 경우 119에 신고해야 하는 상황 등과 같이 서비스 대상자의 상황에 따라 서비스 대상자가 수행해야 할 태스크 목록이 저장부(500)에 저장될 수 있고, 스케줄에 따른 태스크 목록으로서, 매일 아침 9시, 오전 12시, 오후 6시와 같이 약 먹을 시간이 되면 약을 찾아서 먹어야 하는 태스크, 병원을 가야 할 시간이 되면 세수를 하거나 옷을 찾아서 입는 태스크 등이 저장부(500)에 저장될 수 있다. 그리고 태스크 목록에 대응하는 객체들의 위치 정보로서, 약이 보관된 서랍의 위치, 옷이 보관된 옷장이나 서랍의 위치 또는 전화기의 위치 등이 저장부(500)에 저장될 수 있다. The storage unit 500 may store location information of objects corresponding to the situation of the service target, the task list according to the schedule, and the task list. For example, the situation of the service target, such as the situation that you need to receive a call when the phone rings, the air conditioner to lower the room temperature when the room temperature is high, or to call 119 in case of fire In accordance with the list of tasks to be performed by the service target may be stored in the storage unit 500, and as a list of tasks according to the schedule, when the time to eat medicine, such as 9 am, 12 am, 6 pm daily The task to find and eat, when it is time to go to the hospital wash or wear clothes to find a task may be stored in the storage unit (500). As the location information of the objects corresponding to the task list, the location of the drawer where the medicine is stored, the location of the closet or the drawer where the clothes are stored, or the location of the telephone may be stored in the storage unit 500.

제어부(600)는 인지 보조 시스템(1)을 전반적으로 제어하며, 프로젝터부(100)에 내장되어 프로젝터부(100)와 일체로 구성되거나, 프로젝터부(100)와 통신하는 별도의 제어 단말로 이루어질 수 있다.The control unit 600 controls the cognitive assistance system 1 as a whole, and is integrated into the projector unit 100 and integrally formed with the projector unit 100, or made of a separate control terminal communicating with the projector unit 100. Can be.

제어부(600)는 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크를 결정하고, 프로젝터부(100)를 이용하여 결정된 태스크와 관련된 객체 또는 객체의 주변에 태스크 정보가 제공되도록 제어할 수 있다.The controller 600 determines a task to be performed by the service subject according to the detected situation of the service subject or a predetermined schedule, and provides task information to an object or an object surrounding the task determined using the projector unit 100. Can be controlled.

보다 자세하게는, 제어부(600)는 상황 감지부(200)를 통해 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황이나 주변 환경을 인식하고, 인식된 정보를 기초로 서비스 대상자가 수행해야 할 태스크를 정할 수 있다. 그리고 제어부(600)는 서비스 대상자의 미리 정해진 스케줄에 따라 정해진 시간이 되면 해당 시간에 수행해야 할 태스크를 결정할 수 있다. 그런 후 제어부(600)가 프로젝터부(100)로 태스크 정보를 전송하면, 프로젝터부(100)는 서비스 대상자가 수행해야 할 태스크와 관련된 객체 또는 객체 주변에 태스크 정보를 투사하여 서비스 대상자에게 태스크를 알려줄 수 있다.In more detail, the control unit 600 recognizes the current state of the service target, the situation in which the service target is located or the surrounding environment through the situation detection unit 200, and determines a task to be performed by the service target based on the recognized information. Can be. The controller 600 may determine a task to be performed at a corresponding time when the predetermined time is reached according to a predetermined schedule of the service target. Then, when the control unit 600 transmits task information to the projector unit 100, the projector unit 100 notifies the task to the service target by projecting the task information around the object or object related to the task to be performed by the service target. Can be.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 인지 기능을 보조하는 과정을 설명하기 위한 예시도들을 나타낸다.2A and 2B illustrate exemplary diagrams for describing a process of assisting a cognitive function according to an embodiment of the present invention.

도 2a와 같이, 상황 감지부(200)가 서비스 대상자의 전화벨이 울리는 것을 감지하면, 제어부(600)는 서비스 대상자의 전화벨이 울리는 상황에서는 서비스 대상자가 전화를 받아야 하는 태스크를 수행해야 하는 것을 결정할 수 있다. 그런 후, 제어부(600)는 전화를 받아야 하는 상황을 나타내는 태스크 정보 및 이와 관련된 정보를 프로젝터부(100)로 전송하여 프로젝터부(100)가 전화기가 위치한 장소로 이동하거나 전화기가 위치한 방향으로 회전한 후 전화기 또는 전화기 주변의 서랍에 태스크 정보 또는 조명을 투사할 수 있다. 그러면, 투사된 태스크 정보를 확인한 서비스 대상자는 전화벨이 울리는 것을 인식하여 전화를 받을 수 있게 된다. As shown in FIG. 2A, when the situation detecting unit 200 detects that the service recipient's telephone ringing, the control unit 600 may determine that the service target should perform a task in which the service target's telephone ringing. have. Thereafter, the control unit 600 transmits task information indicating a situation to receive a call and related information to the projector unit 100 so that the projector unit 100 moves to the place where the phone is located or rotates in the direction where the phone is located. You can then project task information or lights to the phone or drawers around the phone. Then, the service subject who checks the projected task information can receive a call by recognizing that the telephone ringing.

또한 상황 감지부(200)가 벨이 울리거나 누군가 문을 두드리는 것을 감지하면, 제어부(600)는 벨이 울리거나 누군가 문을 두드리는 상황에서는 문을 열어야 하는 태스크를 수행해야 한다는 것을 결정할 수 있다. 그런 후, 제어부(600)는 문을 열어야 하는 상황을 나타내는 태스크 정보 및 이와 관련된 정보를 프로젝터부(100)로 전송하여 프로젝터부(100)가 문이 위치한 장소로 이동하거나 문이 위치한 방향으로 회전하도록 한 후 문에 태스크 정보 또는 조명을 투사할 수 있다. 그러면, 문에 투사된 태스크 정보를 확인한 서비스 대상자는 문을 열어서 방문객을 확인할 수 있게 된다.In addition, when the situation detecting unit 200 detects that the bell rings or someone knocks on the door, the control unit 600 may determine that a task to open the door should be performed when the bell rings or someone knocks on the door. Thereafter, the control unit 600 transmits task information indicating a situation in which the door needs to be opened and related information to the projector unit 100 so that the projector unit 100 moves to the place where the door is located or rotates in the direction in which the door is located. You can then project task information or lighting onto the door. Then, the service subject who confirmed the task information projected on the door can open the door and check the visitor.

그리고 제어부(600)는 약 먹을 시간이 되면, 프로젝터부(100)를 통해 약이 보관된 서랍이나 서랍 주변에 태스크 정보를 제공하여 사용자가 정해진 시간에 약을 먹을 수 있도록 보조할 수 있다.When the time to take medicine is provided, the control unit 600 may provide task information around the drawer or the drawer in which the medicine is stored through the projector unit 100 to assist the user to take the medicine at a predetermined time.

이외에 저장부(500)가 냉장고, 서랍, 부엌 또는 수납장 등의 내부에 있는 물건 정보를 등록 받아 저장하면, 제어부(600)는 미리 정해진 스케줄에 따라 사용자가 꺼내야 하는 내부 물건이 저장된 냉장고, 서랍, 부엌 또는 수납장 등의 표면에 제공되도록 프로젝터부(100)를 제어할 수 있다. In addition, when the storage unit 500 receives and stores information on the inside of a refrigerator, a drawer, a kitchen or a storage cabinet, and the like, the controller 600 stores a refrigerator, a drawer, and a kitchen in which an internal object to be taken out by a user according to a predetermined schedule. Alternatively, the projector unit 100 may be controlled to be provided on the surface of the cabinet.

이때 제어부(600)는 프로젝터부(100)에서 제공되는 태스크 정보와 함께 출력부(700)를 통해서 태스크를 안내하는 소리가 출력되도록 제어할 수 있다.In this case, the controller 600 may control to output a sound for guiding the task through the output unit 700 together with the task information provided from the projector unit 100.

한편, 제어부(600)는 움직임 감지부(400)를 통해 서비스 대상자의 움직임을 감지하여 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 없으면, 시선 감지부(300)에서 감지된 서비스 대상자의 시선 방향에 따라 태스크를 가이드하기 위한 가이드 정보가 제공되도록 프로젝터부(100)를 제어할 수 있다. On the other hand, the control unit 600 detects the movement of the service target through the motion detection unit 400, if there is no response of the service target for a predetermined time from the time when the task information is provided, the service target person detected by the gaze detection unit 300 The projector unit 100 may be controlled to provide guide information for guiding a task according to a line of sight direction.

보다 자세하게는, 서비스 대상자가 다른 일에 집중하고 있거나 태스크 정보를 미처 보지 못한 경우에는 태스크를 빨리 수행하지 못할 수 있다. 이러한 문제점을 해결하기 위하여 제어부(600)는 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 있는지 판단하고, 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 서비스 대상자의 시선을 감지할 수 있다. 그런 후 프로젝터부(100)를 통해 서비스 대상자의 시선 방향을 따라 태스크를 가이드하기 위한 가이드 정보를 제공하여 서비스 대상자가 태스크를 인식하도록 한다. 이때 제어부(600)는 서비스 대상자의 시선이 태스크와 관련된 객체 또는 객체의 주변에 도착할 때까지 가이드 정보를 주기적 또는 연속적으로 제공할 수 있다.More specifically, the task may not be able to perform the task quickly if the service target concentrates on other tasks or does not see the task information. In order to solve this problem, the controller 600 may determine whether there is a response of the service target for a predetermined time from the time point at which the task information is provided, and detect the gaze of the service target when there is no response of the service target for the predetermined time. . Thereafter, the projector 100 provides guide information for guiding the task along the direction of the service subject's gaze to allow the service subject to recognize the task. In this case, the controller 600 may provide the guide information periodically or continuously until the eyes of the service target arrive at the object related to the task or the vicinity of the object.

도 3a 내지 도 3c는 본 발명의 다른 실시예에 따른 인지 기능 보조 과정을 설명하기 위한 예시도들을 나타낸다.3A to 3C illustrate exemplary diagrams for describing a cognitive function assisting process according to another exemplary embodiment of the present invention.

도 2a와 같이, 전화벨이 울리는 경우, 제어부(600)는 도 2b와 같이, 전화기에 태스크 정보가 투사되도록 프로젝터부(100)를 제어할 수 있는데. 일정 시간이 지나도 서비스 대상자가 전화를 받으려는 행동이 없는 경우, 시선 감지부(300)를 통해 서비스 대상자의 현재 시선을 감지할 수 있다. 그런 후 제어부(600)는 서비스 대상자의 현재 시선에 움직이는 애니메이션 등과 같이 주의를 환기시키거나 시선을 이끌어주는 가이드 정보가 투사되도록 제어하거나, 도 3a와 같이 방향을 나타내는 화살표 형태의 가이드 정보가 투사되도록 제어할 수 있다. 그런 후, 도 3b와 같이 화살표 방향에 따라 서비스 대상자의 시선이 이동되면 서비스 대상자의 시선 방향에 따라 화살표 방향의 가이드 정보의 위치가 전화기에 도착할 때까지 주기적 또는 연속적으로 제공할 수 있다. 그런 후, 가이드 정보의 위치가 전화기에 도착하면 제어부(600)는 도 3c와 같이, 태스크 정보를 제공하여 서비스 대상자가 태스크를 수행할 수 있도록 한다.As shown in FIG. 2A, when the phone rings, the controller 600 may control the projector unit 100 to project task information onto the phone as shown in FIG. 2B. If there is no action by the service target to answer the call even after a certain time, the current line of sight of the service target can be detected through the gaze detector 300. Then, the control unit 600 controls to guide the guide information that draws attention or draws attention, such as an animation moving in the current line of sight of the service subject, or controls to project the guide information in the form of an arrow indicating a direction as shown in FIG. 3A. can do. Then, as shown in FIG. 3B, when the line of sight of the service subject moves according to the direction of the arrow, the position of the guide information in the direction of the arrow may be periodically or continuously provided until the phone arrives at the phone according to the line of sight of the subject. After that, when the location of the guide information arrives at the phone, the controller 600 provides task information so that a service target person can perform a task as shown in FIG. 3C.

이와 같이, 제어부(600)는 태스크 정보를 제공한 후, 서비스 대상자의 반응 여부를 파악하여 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 가이드 정보를 제공하여 서비스 대상자가 빠르게 확인하도록 함으로써 서비스 대상자가 반드시 수행해야 할 태스크를 누락시키지 않고 반드시 수행할 수 있도록 한다.As such, after providing the task information, the controller 600 determines whether the service target responds and provides guide information when the service target does not respond for a predetermined time so that the service target quickly checks the service target. Make sure you can perform tasks without missing tasks.

한편, 제어부(600)는 앞서 설명한 바와 같이, 객체 또는 객체 주변에 태스크 정보를 먼저 제공한 후, 일정 시간 동안 서비스 대상자의 반응이 없으면 서비스 대상자의 시선 방향에 가이드 정보를 제공할 수 있도록 구성될 수 있으나, 이외에 서비스 대상자의 시선을 먼저 감지하여 서비스 대상자의 시선 방향에 따라 가이드 정보를 준 후 서비스 대상자의 시선이 객체 또는 객체 주변에 도착하면 태스크 정보를 제공하는 것도 가능하다.On the other hand, as described above, the controller 600 may be configured to provide the task information around the object or the object first, and then provide the guide information in the gaze direction of the service subject if there is no response of the service subject for a predetermined time. However, it is also possible to provide the task information when the gaze of the service target arrives around the object or the object after the guide information is detected according to the gaze direction of the service target.

도 4a 및 도 4b는 본 발명의 실시예에 따른 태스크 정보의 예시도들을 나타낸다.4A and 4B show exemplary diagrams of task information according to an embodiment of the present invention.

태스크 정보 및 가이드 정보는 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다. 이를 위하여 저장부(500)에는 서비스 대상자의 인지 기능 정도가 미리 측정되어 저장될 수 있다.The task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service target. To this end, the storage unit 500 may measure and store the degree of recognition of the service target in advance.

도 4a와 같이, 인지 기능이 다소 떨어지는 서비스 대상자 즉 인지 기능 레벨이 낮은 서비스 대상자에게는 단순화된 사진, 그림, 기호 또는 조명의 점멸 형태로 태스크 정보 및 가이드 정보를 제공할 수 있으며, 인지 기능이 다소 높은 서비스 대상자 즉 인지 기능 레벨이 높은 서비스 대상자에게는 도 4b와 같이, 글자 또는 문자 등을 통해 서비스 대상자가 상세하게 인식할 수 있는 태스크 정보를 제공할 수 있다.As shown in FIG. 4A, a service subject who has a relatively low cognitive function, that is, a service subject having a low cognitive function level, may provide task information and guide information in the form of a simplified picture, picture, symbol, or lighting, and have a slightly higher cognitive function. As shown in FIG. 4B, the service target person, that is, the service target person having a high cognitive function level, may provide task information that the service target person can recognize in detail through letters or characters.

이와 같이, 서비스 대상자의 인지 기능 정도에 따라 맞춤형으로 태스크 정보를 제공하기 때문에 서비스 대상자는 태스크를 효과적으로 인식할 수 있게 된다.As such, since the task information is customized according to the degree of the cognitive function of the service subject, the service subject can effectively recognize the task.

제어부(600)는 서비스 대상자의 주변에 복수의 사람이 있는 경우, 카메라(210)에서 촬영된 얼굴 또는 신체 이미지를 이용하여 복수의 사람 중에서 서비스 대상자를 인식하고, 인식된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보가 제공되도록 제어할 수 있다. 즉 사람마다 얼굴 생김새 또는 신체의 크기가 다르기 때문에 제어부(600)는 카메라(210)에서 촬영된 복수의 얼굴 또는 신체 이미지를 분석하여 서비스 대상자를 식별할 수 있다.When there are a plurality of people in the vicinity of the service subject, the controller 600 recognizes the service subject from among the plurality of persons by using the face or body image photographed by the camera 210, and recognizes the situation of the service subject or predetermined According to the schedule, the task information to be performed by the service target may be controlled. That is, since the facial features or the body size are different for each person, the controller 600 may identify a service target by analyzing a plurality of face or body images captured by the camera 210.

한편, 복수의 서비스 대상자가 동일한 관찰 영역 내에 있는 경우, 카메라(210)에서 촬영된 얼굴 또는 신체의 이미지를 이용하여 복수의 서비스 대상자 중에서 현재 태스크를 수행해야 할 서비스 대상자를 인식하고, 인식된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크 정보가 제공되도록 제어할 수 있다. 이때 복수의 서비스 대상자마다 인지 기능 정도 및 스케줄이 다르고, 이에 따라 서비스 대상자가 수행해야 할 태스크도 각각 다르기 때문에 현재 태스크를 수행해야 할 서비스 대상자를 인식하여 서비스 대상자에 맞는 태스크 정보를 제공할 수 있다.On the other hand, when a plurality of service subjects are within the same viewing area, using the image of the face or body taken by the camera 210, the service subjects to perform the current task among the plurality of service subjects are recognized, and the recognized service subjects The task information to be performed by the service target may be provided according to the situation or a predetermined schedule. At this time, the degree of cognitive function and schedule are different for each of the plurality of service targets, and accordingly, the tasks to be performed by the service target are also different, thereby recognizing the service target to perform the current task and providing task information suitable for the service target.

그리고 복수의 서비스 대상자에 대하여 인지 기능을 보조하고자 할 경우 제어부(600)는 인지 보조 순서를 정하여 정해진 순서에 따라 순차적으로 인지 보조 기능을 제공하거나, 동시 다발적으로 인지 보조 기능을 제공하는 것도 가능하다.In addition, in order to assist the cognitive function with respect to the plurality of service targets, the controller 600 may determine the cognitive assistance order and sequentially provide the cognitive assistance function according to the determined order, or may simultaneously provide the cognitive assistance function. .

또 한편, 제어부(600)는 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 통신부(800)를 통해 보호자 단말(50)에 제공할 수 있다. 서비스 대상자는 인지 기능 장애를 가진 환자이므로 서비스 대상자 스스로 대응하기 어려운 비상 상황이 발생되면, 이를 신속하게 보호자에게 알림으로써 서비스 대상자를 보호할 수 있도록 한다.In addition, the controller 600 determines whether an emergency occurs based on the detected situation of the service target, and when an emergency occurs to the service target, the guardian terminal 50 transmits the emergency occurrence information to the communication unit 800. Can be provided to Since the service target is a patient with cognitive impairment, if the emergency occurs that the service target cannot respond to the service, the service target can be protected by promptly notifying the guardian.

통신부(800)는 통신망을 통해 보호자 단말(50) 및 복수의 서비스 대상자의 인지 기능을 보조하기 위한 각종 서비스를 수행하는 서비스 서버(70)와 각종 정보를 교환할 수 있다.The communication unit 800 may exchange various information with the service server 70 performing various services for assisting the cognitive function of the guardian terminal 50 and the plurality of service targets through a communication network.

여기서, 통신망(10)은 구내 정보 통신망(Local Area Network, LAN), 도시권 통신망(Metropolitan Area Network, MAN), 광역 통신망(Wide Area Network, WAN), 인터넷(internet), 3G(generation), 4G(generation) 이동통신망, 와이파이(Wi-Fi), WIBRO(Wireless Broadband Internet) 또는 LTE(Long Term Evolution) 등을 포함하는 각종 데이터 통신망을 포함할 수 있고, 유선과 무선을 가리지 않으며 어떠한 통신 방식을 사용하더라도 상관없다.Herein, the communication network 10 may include a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), the internet, 3G (generation), and 4G ( It can include various data communication networks including generation (mobile) network, Wi-Fi, wireless broadband internet (WIBRO) or long term evolution (LTE), and can use any communication method regardless of wired or wireless. Does not matter.

이하에서는 본 발명의 일 실시예에 따른 인지 보조 방법에 대하여 설명하도록 한다.Hereinafter, a cognitive assistance method according to an embodiment of the present invention will be described.

도 5는 본 발명의 일 실시예에 따른 인지 보조 과정을 보여주는 동작 흐름도를 나타낸다.5 is an operation flowchart showing a cognitive assistance process according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 서비스 대상자의 상황을 감지할 수 있다(S500). 즉 상황 감지부는 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황 또는 서비스 대상자의 주변 상황 등을 감지할 수 있다.As shown in FIG. 5, the situation of the service subject may be detected (S500). That is, the situation detection unit may detect a current state of a service target, a situation in which the service target is located, or a surrounding situation of the service target.

보다 자세하게는, 상황 감지부는 미리 정해진 위치 또는 프로젝터부에 설치되어 서비스 대상자를 촬영하는 카메라 또는 사용자의 신체 또는 의복에 착용되어 서비스 대상자의 현재 상태나 서비스 대상자가 처한 상황을 감지할 수 있는 웨어러블 센서 등으로 이루어질 수 있다. 또한 상황 감지부는 서비스 대상자의 주변 상황을 감지하기 위하여 미리 정해진 위치 또는 프로젝터부에 설치되어 서비스 대상자의 주변 환경을 촬영하는 카메라, 미리 정해진 위치 또는 프로젝터부에 설치되어 서비스 대상자의 음성 또는 서비스 대상자의 주변 소리를 입력 받는 마이크, 서비스 대상자의 주변 온도를 감지하는 온도 센서 또는 서비스 대상자의 주변 습도를 감지하는 습도 센서 등을 포함할 수 있다. 예컨대, 상황 감지부는 서비스 대상자의 집으로 손님이 방문하거나, 서비스 대상자의 전화벨이 울리는 상황 등을 감지하여 감지된 결과를 제어부에 전달할 수 있다.In more detail, the situation detection unit is installed in a predetermined position or a projector unit, wearable on the camera or the body of the user photographing the service subject, or wearable sensors that can detect the current state of the service subject or the situation of the service subject, etc. Can be made. In addition, the situation detection unit is installed in a predetermined position or the projector unit to detect the surrounding situation of the service subject to photograph the surrounding environment of the service subject, a predetermined position or installed in the projector unit, the voice of the service subject or the surrounding of the service subject It may include a microphone for receiving a sound, a temperature sensor for detecting the ambient temperature of the service target, or a humidity sensor for detecting the ambient humidity of the service target. For example, the situation detector may detect a situation in which a guest visits the service target's house or the user's telephone ringing, and transmits the detected result to the controller.

시선 감지부는 서비스 대상자의 시선을 감지하는 카메라 등으로 이루어질 수 있으며, 서비스 대상자의 시선을 감지할 수 있는 수단이면 무엇이든지 가능하다.The gaze detector may be configured as a camera for detecting the gaze of the service subject, and may be any means that can detect the gaze of the service subject.

움직임 감지부는 서비스 대상자의 움직임을 감지하는 수단으로서, 카메라, 적외선 센서 또는 가속도 센서, 자이로 센서 등으로 이루어질 수 있으며, 서비스 대상자의 움직임뿐만 아니라 서비스 대상자의 신체 크기 등도 감지할 수 있다. 그리고 움직임 감지부가 프로젝터부에 설치된 경우, 일정 주기에 따라 회전하는 프로젝터부에 의해 일정 주기 별로 서비스 대상자의 움직임을 감지할 수 있다.The motion detector is a means for detecting the movement of the service subject, and may include a camera, an infrared sensor or an acceleration sensor, a gyro sensor, and may detect not only the movement of the service subject but also the body size of the service subject. When the motion detection unit is installed in the projector unit, the movement of the service subject may be detected by the predetermined period by the projector unit rotating according to a predetermined period.

그리고 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 서비스 대상자가 수행해야 할 태스크를 결정(S510)하고, 회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 결정된 태스크와 관련된 객체 또는 객체의 주변에 태스크 정보를 제공할 수 있다(S520).In operation S510, a task to be performed by the service target may be determined according to the detected service target situation or a predetermined schedule, and task information around the object or the object related to the task determined by using the projector installed to be rotatable and movable. It may provide (S520).

보다 자세하게는, 제어부는 상황 감지부를 통해 서비스 대상자의 현재 상태, 서비스 대상자가 처한 상황이나 주변 환경을 인식하고, 인식된 정보를 기초로 서비스 대상자가 수행해야 할 태스크를 정할 수 있다. 그리고 제어부는 서비스 대상자의 미리 정해진 스케줄에 따라 정해진 시간이 되면 해당 시간에 수행해야 할 태스크를 결정할 수 있다. 그런 후 제어부가 프로젝터부로 태스크 정보를 전송하면, 프로젝터부는 서비스 대상자가 수행해야 할 태스크와 관련된 객체 또는 객체 주변에 태스크 정보를 투사하여 서비스 대상자에게 태스크를 알려줄 수 있다.In more detail, the control unit recognizes the current state of the service target, the situation in which the service target is located or the surrounding environment, and determines a task to be performed by the service target based on the recognized information. The controller may determine a task to be performed at a corresponding time when the predetermined time is reached according to a predetermined schedule of the service target. Then, when the control unit transmits the task information to the projector unit, the projector unit may inform the service target of the task by projecting the task information around the object or the object related to the task to be performed by the service target.

그리고 저장부에 냉장고, 서랍, 부엌 또는 수납장 등의 내부에 있는 물건 정보가 저장되어 있으면, 제어부는 미리 정해진 스케줄에 따라 사용자가 꺼내야 하는 내부 물건이 저장된 냉장고, 서랍, 부엌 또는 수납장 등의 표면에 제공되도록 프로젝터부를 제어할 수 있다. If the storage unit stores object information in the refrigerator, drawer, kitchen or cabinet, the control unit provides the surface of the refrigerator, drawer, kitchen or cabinet, etc., in which the user has to take out the product according to a predetermined schedule. It is possible to control the projector unit so that.

이때 제어부는 프로젝터부에서 제공되는 태스크 정보와 함께 출력부를 통해서 태스크를 안내하는 소리가 출력되도록 제어할 수 있다.In this case, the controller may control a sound for guiding the task through an output unit together with task information provided from the projector unit.

한편, 제어부는 움직임 감지부를 통해 서비스 대상자의 움직임을 감지하여 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 없으면, 시선 감지부에서 감지된 서비스 대상자의 시선 방향에 따라 태스크를 가이드하기 위한 가이드 정보가 제공되도록 프로젝터부를 제어할 수 있다. On the other hand, the control unit detects the movement of the service target through the motion detection unit, if there is no response of the service target for a predetermined time from the time when the task information is provided, the gaze detection unit for guiding the task according to the direction of the service target detected by the service target The projector unit may be controlled to provide guide information.

보다 자세하게는, 서비스 대상자가 다른 일에 집중하고 있거나 태스크 정보를 미처 보지 못한 경우에는 태스크를 빨리 수행하지 못할 수 있다. 이러한 문제점을 해결하기 위하여 제어부는 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 서비스 대상자의 반응이 있는지 판단하고, 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 서비스 대상자의 시선을 감지할 수 있다. 그런 후 프로젝터부를 통해 서비스 대상자의 시선 방향을 따라 태스크를 가이드하기 위한 가이드 정보를 제공하여 서비스 대상자가 태스크를 인식하도록 한다. 이때 제어부는 서비스 대상자의 시선이 태스크와 관련된 객체 또는 객체의 주변에 도착할 때까지 가이드 정보를 주기적 또는 연속적으로 제공할 수 있다.More specifically, the task may not be able to perform the task quickly if the service target concentrates on other tasks or does not see the task information. In order to solve this problem, the control unit may determine whether there is a response of the service target for a predetermined time from the time point at which the task information is provided, and detect the gaze of the service target when there is no response of the service target for the predetermined time. Then, the projector provides the guide information for guiding the task along the direction of the service target through the projector so that the service target recognizes the task. In this case, the controller may provide guide information periodically or continuously until the eyes of the service target arrive at an object related to the task or the vicinity of the object.

이와 같이, 제어부는 태스크 정보를 제공한 후, 서비스 대상자의 반응 여부를 파악하여 미리 정해진 시간 동안 서비스 대상자의 반응이 없는 경우 가이드 정보를 제공하여 서비스 대상자가 빠르게 확인하도록 함으로써 서비스 대상자가 반드시 수행해야 할 태스크를 누락시키지 않고 반드시 수행할 수 있도록 한다.As such, after providing the task information, the controller determines whether the service target responds and provides guide information when the service target does not respond for a predetermined time so that the service target can quickly check the service target. Make sure you do it without missing a task.

한편, 태스크 정보 및 가이드 정보는 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공될 수 있다. 이를 위하여 저장부에는 서비스 대상자의 인지 기능 정도가 미리 측정되어 저장될 수 있다.Meanwhile, the task information and the guide information may be provided in different types or forms according to the degree of cognitive function of the service target. To this end, the storage unit may measure and store the degree of the cognitive function of the service target in advance.

인지 기능이 다소 떨어지는 서비스 대상자 즉 인지 기능 레벨이 낮은 서비스 대상자에게는 단순화된 사진, 그림, 기호 또는 조명의 점멸 형태로 태스크 정보 및 가이드 정보를 제공할 수 있으며, 인지 기능이 다소 높은 서비스 대상자 즉 인지 기능 레벨이 높은 서비스 대상자에게는 글자 또는 문자 등을 통해 서비스 대상자가 상세하게 인식할 수 있는 태스크 정보를 제공할 수 있다.Service subjects with low cognitive function, that is, service subjects with low level of cognitive function, can provide task information and guide information in the form of simplified flashing of pictures, pictures, symbols or lights. High level service subjects may be provided with task information that can be recognized in detail by the service subjects through letters or characters.

이와 같이, 서비스 대상자의 인지 기능 정도에 따라 맞춤형으로 태스크 정보를 제공하기 때문에 서비스 대상자는 태스크를 효과적으로 인식할 수 있게 된다.As such, since the task information is customized according to the degree of the cognitive function of the service subject, the service subject can effectively recognize the task.

제어부는 서비스 대상자가 복수 명인 경우, 카메라에서 촬영된 서비스 대상자의 얼굴 이미지 또는 신체의 크기를 이용하여 태스크를 수행해야 할 서비스 대상자를 인식할 수 있다. 복수의 서비스 대상자가 같은 공간에 있는 경우 서비스 대상자마다 인지 기능 정도 및 스케줄이 다르고, 이에 따라 서비스 대상자가 수행해야 할 태스크도 다르기 때문에 서비스 대상자를 인식하는 기능을 수행함으로써 각 서비스 대상자에 맞는 태스크 정보를 제공할 수 있다.When there are a plurality of service subjects, the controller may recognize a service subject to perform a task using a face image or a body size of the service subject photographed by the camera. If multiple service targets are in the same space, each service target has a different degree of cognitive function and schedule, and accordingly, different tasks must be performed by the service target. Therefore, the service target can be recognized to perform task information for each service target. Can provide.

한편, 제어부는 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 통신부를 통해 보호자 단말에 제공할 수 있다. 서비스 대상자는 인지 기능 장애를 가진 환자이므로 서비스 대상자 스스로 대응하기 어려운 비상 상황이 발생되면, 이를 신속하게 보호자에게 알림으로써 서비스 대상자를 보호할 수 있도록 한다.On the other hand, the controller may determine whether an emergency occurs based on the detected situation of the service target, and if an emergency occurs to the service target, the emergency occurrence information may be provided to the guardian terminal through the communication unit. Since the service target is a patient with cognitive impairment, if the emergency occurs that the service target cannot respond to the service, the service target can be protected by promptly notifying the guardian.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 인지 보조 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations. This medium records a program for executing the above-described cognitive assistance method. The media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like. Hardware devices configured to store and perform such operations. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

1: 인지 보조 시스템
100: 프로젝터부
200: 상황 감지부
300: 시선 감지부
400: 움직임 감지부
500: 저장부
600: 제어부
700: 출력부
800: 통신부
1: Cognitive Assistance System
100: projector unit
200: situation detection unit
300: eye detection unit
400: motion detection unit
500: storage unit
600: control unit
700: output unit
800: communication unit

Claims (20)

삭제delete 회전 및 이동 가능하게 설치되는 프로젝터부,
서비스 대상자의 상황을 감지하는 상황 감지부,
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하고, 상기 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부, 그리고
상기 서비스 대상자의 시선을 감지하는 시선 감지부
를 포함하고,
상기 제어부는,
상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응이 없으면, 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보가 제공되도록 상기 프로젝터부를 제어하는 인지 보조 시스템.
Projector unit installed to be rotatable and movable,
A situation detecting unit detecting a situation of a service subject;
A control unit for determining a task to be performed by the service target according to the detected service target situation or a predetermined schedule, and controlling to provide task information to an object related to the determined task or the periphery of the object using the projector; , And
A gaze detector for detecting a gaze of the service subject
Including,
The control unit,
And the projector unit controls the projector unit to provide guide information for guiding the task according to the detected direction of the service subject when there is no response of the service subject for a predetermined time from the time point at which the task information is provided.
제 2 항에서,
상기 가이드 정보는,
상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공되는 인지 보조 시스템.
In claim 2,
The guide information,
A cognitive assistance system provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.
제 2 항에서,
상기 서비스 대상자의 움직임을 감지하는 움직임 감지부를 더 포함하고,
상기 제어부는,
상기 서비스 대상자의 움직임의 유무를 이용하여 상기 서비스 대상자의 반응 여부를 판단하는 인지 보조 시스템.
In claim 2,
Further comprising a motion detector for detecting the movement of the service subject,
The control unit,
Cognitive assistance system for determining whether or not the response of the service target by using the presence or absence of the movement of the service target.
제 2 항에서,
상기 태스크 정보 및 상기 가이드 정보는,
상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공되는 인지 보조 시스템.
In claim 2,
The task information and the guide information,
A cognitive assistance system provided in a different kind or form according to the degree of cognitive function of the service target.
제 2 항에서,
상기 상황 감지부는,
상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 포함하는 인지 보조 시스템.
In claim 2,
The situation detection unit,
Among the camera photographing the surroundings of the service subject and the service subject, a microphone that receives the ambient sound of the service subject, a temperature sensor detecting the ambient temperature of the service subject, and a humidity sensor detecting the ambient humidity of the service subject A cognitive assistance system comprising at least one.
제 6 항에서,
상기 제어부는,
상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식하는 인지 보조 시스템.
In claim 6,
The control unit,
If there are a plurality of people in the vicinity of the service subject, the cognitive assistance system that recognizes the service target to perform the task using the face or body image taken by the camera.
회전 및 이동 가능하게 설치되는 프로젝터부,
서비스 대상자의 상황을 감지하는 상황 감지부, 그리고
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하고, 상기 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보가 제공되도록 제어하는 제어부
를 포함하고,
상기 서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 저장부를 더 포함하는 인지 보조 시스템.
Projector unit installed to be rotatable and movable,
A situation detecting unit detecting a situation of a service subject, and
A control unit for determining a task to be performed by the service target according to the detected service target situation or a predetermined schedule, and controlling to provide task information to an object related to the determined task or the periphery of the object using the projector;
Including,
And a storage unit for storing information about a situation of the service target, a task list according to a schedule, and location information of objects corresponding to the task list.
제 2 항 또는 제 8 항에서,
상기 프로젝터부는,
중심에 있는 회전축을 따라 회전 가능하게 구성되고,
미리 설치된 레일을 따라 이동 가능하게 구성되는 인지 보조 시스템.
In claim 2 or 8,
The projector unit,
Configured to rotate along a central axis of rotation,
Cognitive assistance system configured to move along a pre-installed rail.
제 2 항 또는 제 8 항에서,
상기 제어부는,
상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하고, 상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보가 보호자 단말에 제공되도록 제어하는 인지 보조 시스템.
In claim 2 or 8,
The control unit,
The cognitive assistance system determines whether an emergency situation occurs based on the detected service target situation, and if the emergency target occurs in the service target, emergency occurrence information is provided to the guardian terminal.
삭제delete 서비스 대상자의 상황을 감지하는 단계,
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하는 단계,
회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보를 제공하는 단계,
상기 태스크 정보가 제공된 시점으로부터 미리 정해진 시간 동안 상기 서비스 대상자의 반응 여부를 판단하고, 상기 서비스 대상자의 반응이 없으면, 상기 서비스 대상자의 시선을 감지하는 단계, 그리고
상기 프로젝터부를 이용하여 상기 감지된 서비스 대상자의 시선 방향에 따라 상기 태스크를 가이드하기 위한 가이드 정보를 제공하는 단계를 포함하는 인지 보조 방법.
Detecting the situation of the service subject,
Determining a task to be performed by the service target according to the detected service target situation or a predetermined schedule;
Providing task information to an object related to the determined task or to the periphery of the object using a projector unit rotatably and movable;
Determining whether the service subject responds for a predetermined time from when the task information is provided, and if there is no response of the service subject, detecting a gaze of the service subject; and
And providing guide information for guiding the task according to the detected gaze direction of the service subject by using the projector unit.
제 12 항에서,
상기 가이드 정보는,
상기 서비스 대상자의 시선이 상기 객체 또는 상기 객체의 주변에 도착할 때까지 주기적 또는 연속적으로 제공되는 인지 보조 방법.
In claim 12,
The guide information,
A cognitive assistance method that is provided periodically or continuously until the gaze of the service subject arrives at the object or the periphery of the object.
제 12 항에서,
상기 서비스 대상자의 움직임을 감지하는 단계를 더 포함하고,
상기 서비스 대상자의 반응 여부는,
상기 서비스 대상자의 움직임의 유무를 이용하여 판단되는 인지 보조 방법.
In claim 12,
Detecting the movement of the service subject;
Whether the service target responds,
Cognitive assistance method that is determined using the presence or absence of the movement of the service target.
제 12 항에서,
상기 태스크 정보 및 상기 가이드 정보는,
상기 서비스 대상자의 인지 기능 정도에 따라 종류 또는 형태가 다르게 제공되는 인지 보조 방법.
In claim 12,
The task information and the guide information,
A cognitive assistance method provided in a kind or form differently according to the degree of cognitive function of the service subject.
제 12 항에서,
상기 서비스 대상자의 상황은,
상기 서비스 대상자 및 상기 서비스 대상자의 주변 환경을 촬영하는 카메라, 상기 서비스 대상자의 주변 소리를 입력받는 마이크, 상기 서비스 대상자의 주변 온도를 감지하는 온도 센서 및 상기 서비스 대상자의 주변 습도를 감지하는 습도 센서 중 적어도 하나를 이용하여 감지되는 인지 보조 방법.
In claim 12,
The situation of the service target person,
Among the camera photographing the surroundings of the service subject and the service subject, a microphone that receives the ambient sound of the service subject, a temperature sensor detecting the ambient temperature of the service subject, and a humidity sensor detecting the ambient humidity of the service subject A cognitive assistance method sensed using at least one.
제 16 항에서,
상기 서비스 대상자의 주변에 복수의 사람이 있는 경우, 상기 카메라에서 촬영된 얼굴 또는 신체 이미지를 이용하여 상기 태스크를 수행해야 할 서비스 대상자를 인식하는 단계를 더 포함하는 인지 보조 방법.
The method of claim 16,
If there are a plurality of people in the vicinity of the service subject, the cognitive assistance method further comprising the step of recognizing the service target to perform the task using the face or body image taken by the camera.
서비스 대상자의 상황, 스케줄에 따른 태스크 목록 및 상기 태스크 목록에 대응하는 객체들의 위치 정보가 저장되는 단계,
상기 서비스 대상자의 상황을 감지하는 단계,
상기 감지된 서비스 대상자의 상황 또는 미리 정해진 스케줄에 따라 상기 서비스 대상자가 수행해야 할 태스크를 결정하는 단계, 그리고
회전 및 이동 가능하게 설치되는 프로젝터부를 이용하여 상기 결정된 태스크와 관련된 객체 또는 상기 객체의 주변에 태스크 정보를 제공하는 단계
를 포함하는 인지 보조 방법.
Storing the status of the service subject, a task list according to a schedule, and location information of objects corresponding to the task list,
Detecting a situation of the service subject;
Determining a task to be performed by the service subject according to the detected situation of the service subject or a predetermined schedule, and
Providing task information to an object related to the determined task or to the periphery of the object by using a projector unit which is rotatably and movable;
Cognitive assistance method comprising a.
제 12 항 또는 제 18 항에서,
상기 프로젝터부는,
중심에 있는 회전축을 따라 회전 가능하게 구성되고,
미리 설치된 레일을 따라 이동 가능하게 구성되는 인지 보조 방법.
The method of claim 12 or 18,
The projector unit,
Configured to rotate along a central axis of rotation,
A cognitive assistance method configured to be movable along a pre-installed rail.
제 12 항 또는 제 18 항에서,
상기 감지된 서비스 대상자의 상황을 기초로 비상 상황 발생 여부를 판단하는 단계, 그리고
상기 서비스 대상자에게 비상 상황이 발생되면, 비상 상황 발생 정보를 보호자 단말에 제공하는 단계를 더 포함하는 인지 보조 방법.
The method of claim 12 or 18,
Determining whether an emergency occurs based on the detected situation of the service subject; and
When the emergency situation occurs in the service target person, providing the emergency occurrence information to the guardian terminal further comprising the cognitive assistance method.
KR1020170127229A 2017-09-29 2017-09-29 Recognition Support System and Method KR102014095B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170127229A KR102014095B1 (en) 2017-09-29 2017-09-29 Recognition Support System and Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170127229A KR102014095B1 (en) 2017-09-29 2017-09-29 Recognition Support System and Method

Publications (2)

Publication Number Publication Date
KR20190037663A KR20190037663A (en) 2019-04-08
KR102014095B1 true KR102014095B1 (en) 2019-08-27

Family

ID=66164123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170127229A KR102014095B1 (en) 2017-09-29 2017-09-29 Recognition Support System and Method

Country Status (1)

Country Link
KR (1) KR102014095B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523067A (en) * 2003-04-11 2006-10-05 三菱電機株式会社 How to display an output image on an object
JP2011170279A (en) * 2010-02-22 2011-09-01 Sakawa:Kk Method for constructing interactive environment and projector self-advancing supporting device used for the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100071751A (en) 2008-12-19 2010-06-29 주식회사 케이티 Method for providing dementia life guide service
KR20160041203A (en) * 2014-10-07 2016-04-18 주식회사 제너럴유스 Living-alone elder care system using ontology

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523067A (en) * 2003-04-11 2006-10-05 三菱電機株式会社 How to display an output image on an object
JP2011170279A (en) * 2010-02-22 2011-09-01 Sakawa:Kk Method for constructing interactive environment and projector self-advancing supporting device used for the same

Also Published As

Publication number Publication date
KR20190037663A (en) 2019-04-08

Similar Documents

Publication Publication Date Title
US11037300B2 (en) Monitoring system
US20230304803A1 (en) Emergency drone guidance device
JP7303288B2 (en) User interface for configuring the thermal imaging system
US10819904B2 (en) Image processing device and image providing method therefor
US10062258B2 (en) Floodlight controllers with wireless audio/video recording and communication features
EP3583485A1 (en) Computationally-efficient human-identifying smart assistant computer
US10445587B2 (en) Device and method for automatic monitoring and autonomic response
US10791420B2 (en) Information processing device and information processing method
JP7151835B2 (en) Information processing device, information processing method and program
US10755537B1 (en) Implementing deterrent protocols in response to detected security events
US10957174B2 (en) Communication-linked floodlight controllers with audio/video recording and communication features
JP5114924B2 (en) Warning method by security robot system and security robot system
JPWO2016072118A1 (en) Information processing system, storage medium, and control method
US11875571B2 (en) Smart hearing assistance in monitored property
US20230049228A1 (en) Solution for generating a touchless elevator call
EP3893215A1 (en) Information processing device, information processing method, and program
JP2020522828A (en) Computer vision based surveillance system and method
WO2018016142A1 (en) Information processing system, information processing device, information processing method, and program
JP2018156453A (en) System, method, and program for providing images
KR102014095B1 (en) Recognition Support System and Method
JP2021087103A (en) Information processing device, control method of the same, and program
WO2020241034A1 (en) Monitoring system and monitoring method
JP7334686B2 (en) Controllers, programs and control systems
US20230053823A1 (en) Device, system and method for controlling environmental devices at a smart building to assist a first responder
JP7009021B2 (en) Abnormal person prediction system, abnormal person prediction method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant