KR102241829B1 - System for servicing contents of mind care based on virtual reality and augmented reality - Google Patents

System for servicing contents of mind care based on virtual reality and augmented reality Download PDF

Info

Publication number
KR102241829B1
KR102241829B1 KR1020190003200A KR20190003200A KR102241829B1 KR 102241829 B1 KR102241829 B1 KR 102241829B1 KR 1020190003200 A KR1020190003200 A KR 1020190003200A KR 20190003200 A KR20190003200 A KR 20190003200A KR 102241829 B1 KR102241829 B1 KR 102241829B1
Authority
KR
South Korea
Prior art keywords
content
user
hmd
virtual
providing server
Prior art date
Application number
KR1020190003200A
Other languages
Korean (ko)
Other versions
KR20200086873A (en
Inventor
이세환
박지영
Original Assignee
제이에스씨(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제이에스씨(주) filed Critical 제이에스씨(주)
Priority to KR1020190003200A priority Critical patent/KR102241829B1/en
Publication of KR20200086873A publication Critical patent/KR20200086873A/en
Application granted granted Critical
Publication of KR102241829B1 publication Critical patent/KR102241829B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

본 발명의 정신건강 및 심리상담 콘텐츠 제공 시스템은, 가정 내의 다수의 공간에 부착되는 비콘(beacon), 사용자의 손 동작을 인식하기 위한 손동작 인식 센서, 사용자의 몸 동작을 인식하기 위한 몸동작 인식 센서, 사용자의 머리에 착용되어 VR(Virtual Reality)과 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display) 및 상기 HMD와 통신하며, 상기 HMD에 VR 화면과 AR 화면을 제공하되, VR 화면과 AR 화면을 통해 가상의 동반자 캐릭터를 포함하는 정신건강 관련 콘텐츠를 제공하고, 상기 손 동작 인식 센서로부터 인식된 사용자의 손 동작과 상기 몸 동작 인식 센서로부터 인식된 사용자의 몸 동작을 반영하여 상기 동반자 캐릭터와 인터랙션이 가능한 게임 형태의 콘텐츠를 제공하는 콘텐츠 제공 서버를 포함한다. 본 발명에 의하면, VR과 AR을 기반으로 하는 가상 동반자 콘텐츠를 제공함으로써, 1인 가구원의 우울, 불안, 스트레스 등을 경감시켜서, 정서적 안정감과 정신건강을 증진시킬 수 있는 효과가 있다. The system for providing mental health and psychological counseling contents of the present invention includes a beacon attached to a plurality of spaces in the home, a hand motion recognition sensor for recognizing a user's hand motion, a body motion recognition sensor for recognizing a user's body motion, It communicates with the HMD (Head Mounted Display) and the HMD, which is worn on the user's head and displays VR (Virtual Reality) and AR (Augmented Reality) screens, and provides a VR screen and an AR screen to the HMD. Provides mental health-related content including a virtual companion character through the screen, and reflects the user's hand motion recognized by the hand motion recognition sensor and the user's body motion recognized by the body motion recognition sensor, It includes a content providing server that provides interactive game-type content. According to the present invention, by providing virtual companion content based on VR and AR, there is an effect of reducing depression, anxiety, and stress of a single household member, thereby improving emotional stability and mental health.

Description

VR과 AR을 기반으로 하는 정신건강 및 심리상담 콘텐츠 제공 시스템 {System for servicing contents of mind care based on virtual reality and augmented reality}System for servicing contents of mind care based on virtual reality and augmented reality

본 발명은 정신건강 및 심리상담 콘텐츠에 관한 것으로서, 더욱 상세하게는 HMD를 착용한 사용자에게 AR(Augmented Reality)과 VR(Virtual Reality)을 기반으로 하여, 1인 가구원의 정신건강 증진을 위한 가상현실 심리상담 솔루션 및 엔터테인먼트형 가상현실 동반자 콘텐츠 제공 기술에 관한 것이다. The present invention relates to mental health and psychological counseling content, and more specifically, to a user wearing an HMD, based on AR (Augmented Reality) and VR (Virtual Reality), a virtual reality for enhancing mental health of a single member of the household. It relates to psychological counseling solutions and entertainment-type virtual reality companion content provision technology.

AR(Augmented Reality, 증강현실)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 현실세계를 가상세계로 보완해주는 개념인 AR은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 하며, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다.AR (Augmented Reality) is one of the virtual reality that shows the real world that the user sees with the eyes and the virtual world with additional information in a single image. AR, a concept that complements the real world with a virtual world, uses a virtual environment created with computer graphics, but the protagonist is the real environment. The computer graphic serves to provide additional information necessary for the real environment, and by overlapping the 3D virtual image on the real image viewed by the user, the distinction between the real environment and the virtual screen becomes ambiguous.

가상현실(Virtual Reality, VR)은 자신(객체)과 배경, 환경 모두 현실이 아닌 가상의 이미지를 사용하는데 반해, 증강현실(AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다.Virtual Reality (VR) uses a virtual image that is not real in both the self (object), the background, and the environment, whereas augmented reality (AR) is a single image by superimposing a 3D virtual image on the real image or background. It is a technique shown by.

또한, 증강현실은 혼합 현실(Mixed Reality, MR)이라고도 하는데, 비행기 제조사인 보잉사에서 1990경 비행기 조립 과정에 가상의 이미지를 첨가하면서 증강현실이 처음으로 세상에 소개됐다.In addition, augmented reality is also called mixed reality (MR), and augmented reality was introduced to the world for the first time in the 1990s when Boeing, an airplane manufacturer, added virtual images to the airplane assembly process.

증강현실과 가상현실은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분된다. 예를 들어, 가상현실 격투 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강현실 격투 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 따라서, 증강현실이 가상현실에 비해 현실감이 뛰어나다는 특징이 있다.Augmented reality and virtual reality seem to be similar to each other, but they are clearly distinguished depending on whether the subject is a virtual image or a real image. For example, in a virtual reality fighting game, a character representing me confronts a virtual enemy in a virtual space, but in an augmented reality fighting game, a real person confronts a virtual enemy in a real space. Therefore, augmented reality has a feature of superior reality compared to virtual reality.

이 밖에 가상현실은 일반적으로 영화나 영상 분야 등 특수 환경에서만 사용되지만 증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태다. 예를 들어, 인터넷을 통한 지도 검색, 위치 검색 등도 넓은 의미에서는 증강현실에 포함된다.In addition, virtual reality is generally used only in special environments such as movies and video, but augmented reality is currently popular enough to be widely used by the general public. For example, map search and location search through the Internet are also included in augmented reality in a broad sense.

최근 1인 가구가 증가하는 추세이며, 의학계의 연구 결과에 의하면, 1인 가구원과 같이 혼자 사는 외로운 삶은 우울증, 불면증, 불안, 스트레스의 원인이 될 수 있다고 하며, 이렇듯 타인과의 정서적 교류가 없는 현대인의 외로움 해결이 사회문제로 대두되고 있다. Recently, the number of single-person households is increasing, and according to research results in the medical field, it is said that a lonely life living alone with a single member can be a cause of depression, insomnia, anxiety, and stress. Solving the loneliness of a person is emerging as a social problem.

2015년에 실시된 국민건강영양조사에서 우리나라 1인 가구의 우울장애 증상은 14.5%로 일반 성인 6.6%의 2배를 초과하며, 미국국립과학원의 발표에 의하면 1인 가구 구성원의 외로움은 면역력 저하, 스트레스에 취약 등 비만만큼 수명의 위협요인이 되고 있다. In the National Health and Nutrition Survey conducted in 2015, the symptoms of depressive disorder in Korean single households were 14.5%, which is more than twice that of 6.6% of ordinary adults, and according to the publication of the National Academy of Sciences, loneliness of single-person household members decreased immunity, As much as obesity, such as being vulnerable to stress, it is a threat to lifespan.

반면, 1인 가구 시대에 따른 싱글족이 소비 시장에서 큰손으로 떠오르면서 새로운 마케팅 시장으로 대두되어, 1인 가구 맞춤형 문화서비스 및 미디어 콘텐츠 트렌드 변화에 따른 신개념의 서비스와 콘텐츠 제공이 필요하다. On the other hand, as singles emerged as a big hand in the consumption market according to the single-person household era, it emerged as a new marketing market, and it is necessary to provide a new concept of services and contents according to the changing trends of cultural services and media contents for single-person households.

1인 가구의 평균 소비성향은 80.5%로 전체 가구 평균에 비해 7%P 가까이 높은데, '포미족', '솔로이코노미', '싱글슈머' 등 새로운 경제용어 등장할 정도로, 포미(FOR ME) 소비가 증가하고 있으며, 이러한 1인 가구원의 소비 특성은 주로 나를 위해 건강, 자기계발, 여가에 과감히 투자하고, 신제품에 대한 호기심이 강하다는 것이다. The average consumption propensity of single households is 80.5%, which is almost 7%P higher than the average of the entire household, so that new economic terms such as'Fami','Solo Economy' and'Single Sumer' appear. Is on the rise, and the consumption characteristics of single-person household members are that they are boldly investing in health, self-development, and leisure for me, and have strong curiosity about new products.

한편, 정신건강의료의 필요성 증가에 따라 관련 센터나 기관이 지속적으로 증가하는 추세이며, 2015년 기준으로 정신건강증진센터(208개소), 국공립 정신의료기관(187개소), 민간 정신의료기관(1,167개소), 중독관리통합지원센터(50개소), 사회복귀시설(317개소)이 있다. Meanwhile, as the need for mental health care increases, the number of related centers and institutions is constantly increasing.As of 2015, mental health promotion centers (208), national and public psychiatric institutions (187), and private psychiatric institutions (1,167) , Addiction Management Integrated Support Center (50 locations), and social rehabilitation facilities (317 locations).

그리고, 국가 차원에서 상담전화, 원격채팅 서비스 등 정신보건사업을 추진하고 있으나, 일반인이 정신건강 상담에 대한 부정적인 인식으로 인해 활성화가 잘 되지 않고 있는 실정이며, 심리상담사 1명이 돌볼 수 있는 대상의 한계 및 국민들의 정신건강 진료에 대한 부정적인 인식으로 활성화가 잘 되지 않고 있다. In addition, although the national level is promoting mental health projects such as counseling telephone and remote chat service, the general public is not actively activating due to negative perceptions of mental health counseling, and the limitations of the targets that one psychological counselor can care for and It is not being activated well due to the negative perceptions of the people about mental health treatment.

이러한 정신심리치료 분야의 경우, 가상현실 기술은 보다 안전하고 통제된 환경에서 시각과 뇌의 연계 및 현실과 동일한 경험을 저렴한 비용으로 제공할 수 있다는 점에서 높은 효과를 기대할 수 있다. In the field of psychopsychiatry, virtual reality technology can be expected to have high effects in that it can provide a connection between vision and brain and the same experience as reality in a safer and more controlled environment at low cost.

보건의료산업의 패러다임이 과거의 질병 치료 및 진단에서 미래의 예방과 관리 및 건강한 삶을 영위하는 웰니스 서비스로 변화함에 따라 최근 IT 기술을 기반으로 소비자 욕구를 충족시킬 수 있는 방안이 요구되고 있으며, 따라서, 외로운 현대인의 정신건강 증진을 위해 첨단 IT 기술과 정신건강의학의 융복합을 통한 실용적인 솔루션 개발이 요구되고 있고, 1인 가구의 사회문제 해결 및 정신건강 증진 효과를 높일 수 있는 기술 개발이 필요하다. As the paradigm of the health care industry changes from treatment and diagnosis of diseases in the past to wellness services that lead to prevention, management and healthy life in the future, there is a demand for a way to satisfy consumer needs based on recent IT technology. In order to improve the mental health of the lonely modern people, the development of practical solutions through the convergence of advanced IT technology and mental health medicine is required, and technology development that can increase the effect of solving social problems and promoting mental health of single-person households is needed. .

대한민국 등록특허 10-1797867Korean Patent Registration 10-1797867

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 가상현실(VR)과 증강현실(AR)을 기반으로 인터랙션(interaction) 체험이 가능하며, 1인 가구원의 우울, 불안, 스트레스 등을 경감시켜 주는 정신건강 증진을 위한 콘텐츠 제공 시스템을 제공하는데 그 목적이 있다.The present invention has been devised to solve the above problems, it is possible to experience interaction based on virtual reality (VR) and augmented reality (AR), and alleviate depression, anxiety, and stress of a single household member. Its purpose is to provide a content providing system for improving mental health.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 정신건강 및 심리상담 콘텐츠 제공 시스템은, 가정 내의 다수의 공간에 부착되는 비콘(beacon), 사용자의 손 동작을 인식하기 위한 손동작 인식 센서, 사용자의 몸 동작을 인식하기 위한 몸동작 인식 센서, 사용자의 머리에 착용되어 VR(Virtual Reality)과 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display) 및 상기 HMD와 통신하며, 상기 HMD에 VR 화면과 AR 화면을 제공하되, VR 화면과 AR 화면을 통해 가상의 동반자 캐릭터를 포함하는 정신건강, 심리상담 관련 콘텐츠를 제공하고, 상기 손 동작 인식 센서로부터 인식된 사용자의 손 동작과 상기 몸 동작 인식 센서로부터 인식된 사용자의 몸 동작을 반영하여 상기 동반자 캐릭터와 인터랙션이 가능한 게임 형태의 콘텐츠를 제공하는 콘텐츠 제공 서버를 포함한다. The mental health and psychological counseling content providing system of the present invention for achieving such an object includes a beacon attached to a plurality of spaces in a home, a hand motion recognition sensor for recognizing a user's hand motion, and a user's body motion. A body motion recognition sensor for recognition, a head mounted display (HMD) that is worn on the user's head to display VR (Virtual Reality) and Augmented Reality (AR) screens, and communicates with the HMD, and provides a VR screen and an AR screen to the HMD. Provided, but providing content related to mental health and psychological counseling including a virtual companion character through a VR screen and an AR screen, and the user's hand motion recognized by the hand motion recognition sensor and the user recognized by the body motion recognition sensor It includes a content providing server that provides game-type content capable of interacting with the companion character by reflecting the body motion of the person.

상기 콘텐츠 제공 서버는 비콘이 송출하는 위치정보를 기반으로, 상기 HMD의 이동하는 위치를 확인하고, 상기 HMD의 위치에 따라 미리 정해진 콘텐츠를 상기 HMD에 제공한다. The content providing server identifies the moving position of the HMD based on the location information transmitted from the beacon, and provides predetermined content to the HMD according to the location of the HMD.

상기 콘텐츠 제공 서버는 상기 HMD의 이동 위치에 따라 미리 정해진, AR 기반의 가상 동반자 캐릭터가 등장하는 AR 가상 동반자 콘텐츠를 제공할 수 있다. The content providing server may provide AR virtual companion content in which an AR-based virtual companion character appears, which is predetermined according to the moving position of the HMD.

상기 콘텐츠 제공 서버는 AR 가상 동반자 콘텐츠 제공 중, 사용자의 선택에 따라 VR 기반의 가상 동반자 캐릭터와 함께하는 VR 가상 동반자 콘텐츠를 제공할 수 있다. The content providing server may provide VR virtual companion content along with a VR-based virtual companion character according to a user's selection while providing AR virtual companion content.

상기 콘텐츠 제공 서버는 VR 기반의 심리검사, 집단 심리상담, 명상, 컬러 테라피를 포함하는 심리상담 콘텐츠를 상기 HMD에 제공할 수 있다. The content providing server may provide psychological counseling content including VR-based psychological tests, group psychological counseling, meditation, and color therapy to the HMD.

상기 콘텐츠 제공 서버는 심리상담 콘텐츠의 심리 검사에서 검사 결과 점수가 미리 정해진 위험수치를 초과하는 경우, 현재 위치를 기준으로 미리 정해진 거리 이내에 존재하는 정신 의료 기관의 정보를 상기 HMD에 제공할 수 있다. The content providing server may provide information on a mental medical institution existing within a predetermined distance based on a current location to the HMD when the test result score in the psychological examination of the psychological counseling content exceeds a predetermined risk value.

상기 콘텐츠 제공 서버와 통신하며, 상기 콘텐츠 제공 서버로부터 사용자(환자)의 상담 요청이 있으면, 미리 정해진 의료기관 단말에 상담 요청이 수신되었음을 알리고, VR을 통한 원격 상담 서비스를 제공하는 의료기관 서버 및 의료기관의 의료진의 머리에 착용되고, 상기 의료기관 서버와 통신하며, 원격 상담 서비스를 위한 VR 화면이 디스플레이되는 의료기관 HMD를 더 포함하며, 상기 콘텐츠 제공 서버는 사용자(환자)로부터 상담 요청이 있으면, 상기 의료기관 서버에 상담 요청 사실을 알리고, VR을 기반으로 하는 원격 상담 서비스가 상기 HMD를 통해 제공되도록 할 수 있다. A medical institution server that communicates with the content providing server and, when a user (patient) has a consultation request from the content providing server, notifies that a consultation request has been received to a predetermined medical institution terminal, and provides a remote consultation service through VR, and a medical staff of the medical institution Further comprising a medical institution HMD worn on the head of the doctor, communicating with the medical institution server, and displaying a VR screen for a remote consultation service, wherein the content providing server consults the medical institution server when a consultation request is received from the user (patient). The request may be notified, and a VR-based remote counseling service may be provided through the HMD.

상기 의료기관 서버는 원격 상담 서비스 제공 시, 심리상담 콘텐츠를 통해 수집된 데이터를 분석하여 상기 의료기관 HMD에 제공할 수 있다. When providing a remote counseling service, the medical institution server may analyze data collected through psychological counseling content and provide it to the HMD of the medical institution.

본 발명에 의하면, VR과 AR을 기반으로 하는 가상 동반자 콘텐츠를 제공함으로써, 1인 가구원의 우울, 불안, 스트레스 등을 경감시켜서, 정서적 안정감과 정신건강을 증진시킬 수 있는 효과가 있다. According to the present invention, by providing virtual companion content based on VR and AR, there is an effect of reducing depression, anxiety, and stress of a single household member, thereby improving emotional stability and mental health.

또한, 본 발명에 의하면, VR을 통한 원격상담 서비스를 제공함으로써, 병원에 직접 가지 않고도 원격에서 정신상담을 할 수 있어서, 우울, 스트레스 등 정신과 관련된 질환에 있어서 환자의 부담을 덜어 줄 수 있다는 효과가 있다. In addition, according to the present invention, by providing a remote counseling service through VR, mental counseling can be performed remotely without going directly to the hospital, thereby reducing the burden of the patient in mental disorders such as depression and stress. have.

도 1은 본 발명의 일 실시예에 따른 정신건강 및 심리상담 콘텐츠 제공 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 정신건강 및 심리상담 콘텐츠 제공 시스템과, 전체적인 콘텐츠 제공 과정을 개념적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 정신건강 및 심리상담 콘텐츠 제공 방법을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 전체 콘텐츠 진행 순서를 도시한 흐름도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 콘텐츠 화면예이다.
도 7은 본 발명의 일 실시예에 따른 헬스케어 서비스에서 제공되는 정신건강 및 심리상담 콘텐츠의 전체 시나리오를 보여주는 블록도이다.
도 8 내지 도 12는 본 발명의 일 실시예에 따른 콘텐츠를 보여주는 화면예이다.
도 13은 본 발명의 일 실시예에 따른 헬스케어 서비스 시스템의 AR을 통해 가상의 캐릭터와 대화하는 진행 과정을 나타낸 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 콘텐츠에서 친밀도에 따른 가상 캐릭터의 인사말을 나타낸 도표이다.
도 15 및 도 16은 본 발명의 일 실시예에 따른 사용자의 생일 데이터를 수집하기 위한 화면예이다.
도 17은 본 발명의 일 실시예에 따른 콘텐츠에서 사용자의 생일에 가상 캐릭터가 표출하는 생일 축하 인사말을 예시한 도표이다.
도 18은 본 발명의 일 실시예에 따른 콘텐츠에서 시간에 따른 가상 캐릭터가 표출하는 인사말을 예시한 도표이다.
도 19는 본 발명의 일 실시예에 따른 원격 상담 서비스를 위해 디스플레이된 VR 화면의 예시이다.
도 20은 본 발명의 일 실시예에 따른 실사 배경에 정합된 가상 캐릭터와 셀카를 찍을 수 있는 셀카찍기 모드의 화면표시 예시이다.1 is a diagram schematically showing a system for providing mental health and psychological counseling content according to an embodiment of the present invention.
FIG. 2 is a diagram conceptually showing a system for providing mental health and psychological counseling content and a process for providing an overall content according to an embodiment of the present invention.
3 is a flowchart illustrating a method of providing mental health and psychological counseling content according to an embodiment of the present invention.
4 is a flowchart illustrating a procedure for proceeding with the entire content according to an embodiment of the present invention.
5 and 6 are examples of content screens according to an embodiment of the present invention.
7 is a block diagram showing an entire scenario of mental health and psychological counseling content provided in a healthcare service according to an embodiment of the present invention.
8 to 12 are screen examples showing content according to an embodiment of the present invention.
13 is a flowchart illustrating a process of communicating with a virtual character through an AR of a healthcare service system according to an embodiment of the present invention.
14 is a diagram showing a greeting of a virtual character according to intimacy in content according to an embodiment of the present invention.
15 and 16 are screen examples for collecting birthday data of a user according to an embodiment of the present invention.
17 is a diagram illustrating a happy birthday greeting expressed by a virtual character on a user's birthday in content according to an embodiment of the present invention.
18 is a diagram illustrating a greeting expressed by a virtual character over time in content according to an embodiment of the present invention.
19 is an example of a VR screen displayed for a remote consultation service according to an embodiment of the present invention.
20 is an example of a screen display in a selfie-taking mode capable of taking a selfie with a virtual character matched to a live-action background according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms including technical or scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the present invention, when it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 정신건강 및 심리상담 콘텐츠 제공 시스템을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 정신건강 및 심리상담 콘텐츠 제공 시스템과, 전체적인 콘텐츠 제공 과정을 개념적으로 도시한 도면이다. 1 is a diagram schematically showing a system for providing mental health and psychological counseling content according to an embodiment of the present invention, and FIG. 2 is a system for providing mental health and psychological counseling content according to an embodiment of the present invention, and overall contents It is a diagram conceptually showing the provision process.

도 1 및 도 2를 참조하면, 본 발명의 정신건강 및 심리상담 콘텐츠 제공 시스템은 HMD(Head mounted Display)(100), 비콘(beacon)(400), 손동작 인식 센서(200), 몸동작 인식 센서(300), 콘텐츠 제공 서버(500), 의료기관 서버(600), 의료기관 HMD(700), 의료기관 단말(800)을 포함한다. 1 and 2, the system for providing mental health and psychological counseling content according to the present invention includes a head mounted display (HMD) 100, a beacon 400, a hand motion recognition sensor 200, and a body motion recognition sensor. 300), a content providing server 500, a medical institution server 600, a medical institution HMD 700, and a medical institution terminal 800.

도 1 및 도 2에서 본 발명의 정신건강 및 심리상담 콘텐츠 제공 시스템은 HMD(Head mounted Display)(100), 손 동작 인식 센서(200), 몸 동작 인식 센서(300), 비콘(400), 콘텐츠 제공 서버(500)가 있는 가정과, 의료기관 서버(600), 의료기관 HMD(700), 의료기관 단말(800)이 있는, 정신 의료기관을 가정한 실시예를 예시하고 있다. 1 and 2, the mental health and psychological counseling content providing system of the present invention includes a head mounted display (HMD) 100, a hand motion recognition sensor 200, a body motion recognition sensor 300, a beacon 400, and content. An embodiment is exemplified assuming a home with a provision server 500, a medical institution server 600, a medical institution HMD 700, and a medical institution terminal 800, assuming a mental medical institution.

비콘(400)은 가정 내의 다수의 공간에 부착되어 있다. 본 발명에서 비콘(400)은 쇼파, 식탁, 침대 등 가정의 주요 지점 여러 곳에 부착될 수 있다. 따라서, HMD(100)를 착용한 사용자가 가정 내에서 이동하는 위치에 따라 가상 동반자와 함께 TV보기, 식사하기, 대화하기 등 콘텐츠를 앱 실행을 위한 데이터를 전송하도록 하기 위해, 비콘(400)에서 송출하는 위치 데이터를 이용한다. The beacon 400 is attached to a number of spaces in the home. In the present invention, the beacon 400 may be attached to several main points of the home, such as a sofa, a dining table, and a bed. Therefore, in order to transmit data for running the app, such as watching TV, eating, and having a conversation with a virtual companion according to the location where the user wearing the HMD 100 moves in the home, the beacon 400 Use the location data to be transmitted.

참고로 비콘은 근거리에 있는 스마트 기기를 자동으로 인식하여 필요한 데이터를 전송할 수 있는 무선 통신 장치로서, 블루투스 비콘(Bluetooth Beacon)이라고도 한다. 근거리 무선 통신인 NFC가 10cm 이내의 근거리에서만 작동하는 반면, 비콘은 최대 50m 거리에서 작동할 수 있다. For reference, a beacon is a wireless communication device capable of automatically recognizing a smart device in a short distance and transmitting necessary data, and is also referred to as a Bluetooth Beacon. NFC, a short-range wireless communication, works only within a short distance of 10cm, while beacons can operate at a distance of up to 50m.

손동작 인식 센서(200)는 사용자의 손 동작을 인식하는 역할을 한다. 예를 들어, 손동작 인식 센서(200)는 립 모션(Leap motion)으로 구현될 수 있다. 본 발명의 일 실시예에서 손동작 인식 센서(200)는 HMD(100)에 함께 장착되어 구현될 수 있다. The hand motion recognition sensor 200 serves to recognize a user's hand motion. For example, the hand motion recognition sensor 200 may be implemented as a lip motion. In an embodiment of the present invention, the hand gesture recognition sensor 200 may be mounted together on the HMD 100 to be implemented.

몸동작 인식 센서(300)는 사용자의 몸 동작을 인식하는 역할을 한다. 예를 들어, 몸동작 인식 센서(300)는 키넥트(Kinect)로 구현될 수 있다.The body motion recognition sensor 300 serves to recognize a user's body motion. For example, the body motion recognition sensor 300 may be implemented as Kinect.

HMD(100)는 사용자의 머리에 착용되어 VR(Virtual Reality)과 AR(Augmented Reality) 화면이 디스플레이된다. The HMD 100 is worn on the user's head to display a virtual reality (VR) and an augmented reality (AR) screen.

콘텐츠 제공 서버(500)는 HMD(100)와 통신하며, HMD(100)에 VR 화면과 AR 화면을 제공하되, VR 화면과 AR 화면을 통해 가상의 동반자 캐릭터를 포함하는 정신건강 및 심리상담 관련 콘텐츠를 제공한다. 그리고, 손 동작 인식 센서(200)로부터 인식된 사용자의 손 동작과 몸 동작 인식 센서(300)로부터 인식된 사용자의 몸 동작을 반영하여 동반자 캐릭터와 인터랙션이 가능한 게임 형태의 콘텐츠를 제공한다. The content providing server 500 communicates with the HMD 100 and provides a VR screen and an AR screen to the HMD 100, but contents related to mental health and psychological counseling including a virtual companion character through the VR screen and the AR screen. Provides. In addition, by reflecting the user's hand motion recognized by the hand motion recognition sensor 200 and the user's body motion recognized by the body motion recognition sensor 300, a game-type content capable of interacting with a companion character is provided.

의료기관 서버(600)는 콘텐츠 제공 서버(500)와 통신하며, 콘텐츠 제공 서버(500)로부터 사용자의 상담 요청이 있으면, 미리 정해진 의료기관 단말(800)에 상담 요청이 수신되었음을 알리고, VR을 통한 원격 상담 서비스를 제공한다. The medical institution server 600 communicates with the content providing server 500, and when there is a user's request for consultation from the content providing server 500, it notifies that a consultation request has been received to a predetermined medical institution terminal 800, and remote consultation through VR. Provide service.

의료기관 HMD(700)는 의료기관의 의료진의 머리에 착용되고, 의료기관 서버(600)와 통신하며, 원격 상담 서비스를 위한 VR 화면이 디스플레이된다. 도 19는 원격 상담 서비스를 위해 디스플레이된 VR 화면의 예를 도시한다.The medical institution HMD 700 is worn on the head of the medical staff of the medical institution, communicates with the medical institution server 600, and displays a VR screen for remote consultation service. 19 shows an example of a VR screen displayed for a remote consultation service.

의료기관 단말(800)은 의료기관의 의료진이 소지하는 단말로서, 스마트폰, 핸드폰, PDA, 태블릿 PC 등을 포함하는 개념이다. The medical institution terminal 800 is a terminal possessed by medical staff of a medical institution, and includes a smart phone, a mobile phone, a PDA, a tablet PC, and the like.

본 발명에서 콘텐츠 제공 서버(500)는 사용자로부터 상담 요청이 있으면, 의료기관 서버(600)에 상담 요청 사실을 알리고, VR을 기반으로 하는 원격 상담 서비스가 HMD(100)를 통해 제공되도록 한다. In the present invention, when there is a consultation request from the user, the content providing server 500 notifies the medical institution server 600 of the consultation request, and allows a remote consultation service based on VR to be provided through the HMD 100.

콘텐츠 제공 서버(500)는 비콘이 송출하는 위치정보를 기반으로, HMD(100)의 이동하는 위치를 확인하고, HMD(100)의 위치에 따라 미리 정해진 콘텐츠를 HMD(100)에 제공할 수 있다. The content providing server 500 may check the moving location of the HMD 100 based on the location information transmitted from the beacon, and provide predetermined content to the HMD 100 according to the location of the HMD 100. .

콘텐츠 제공 서버(500)는 HMD(100)의 이동 위치에 따라 미리 정해진, AR 기반의 가상 동반자 캐릭터가 등장하는 AR 가상 동반자 콘텐츠를 제공할 수 있다. The content providing server 500 may provide AR virtual companion content in which an AR-based virtual companion character appears, which is predetermined according to the moving position of the HMD 100.

그리고, 콘텐츠 제공 서버(500)는 가상 동반자 콘텐츠 제공 중, 사용자의 선택에 따라 VR 기반의 가상 동반자 캐릭터와 함께하는 VR 가상 동반자 콘텐츠를 제공할 수 있다. In addition, while providing virtual companion content, the content providing server 500 may provide VR virtual companion content together with a VR-based virtual companion character according to a user's selection.

또한, 콘텐츠 제공 서버(500)는 VR 기반의 심리검사, 집단 심리상담, 명상, 컬러 테라피를 포함하는 심리상담 콘텐츠를 HMD(100)에 제공할 수 있다. In addition, the content providing server 500 may provide psychological counseling content including VR-based psychological tests, group psychological counseling, meditation, and color therapy to the HMD 100.

콘텐츠 제공 서버(500)는 심리상담 콘텐츠의 심리 검사에서 검사 결과 점수가 미리 정해진 위험수치를 초과하는 경우, 현재 위치를 기준으로 미리 정해진 거리 이내에 존재하는 정신 의료 기관의 정보를 HMD(100)에 제공할 수 있다. 예를 들어, 콘텐츠 제공 서버(500)는 정신 의료 기관의 위치, 연락처, 홈페이지 주소를 포함하는 정신 의료 기관의 정보를 HMD(100)에 제공할 수 있다. The content providing server 500 provides the HMD 100 with information of a mental medical institution existing within a predetermined distance based on the current location when the test result score exceeds a predetermined risk value in the psychological examination of the psychological counseling content. can do. For example, the content providing server 500 may provide information on a mental medical institution including the location, contact information, and homepage address of the mental medical institution to the HMD 100.

본 발명의 일 실시예에서 의료기관 서버(600)는 원격 상담 서비스 제공 시, 심리상담 콘텐츠를 통해 수집된 데이터를 분석하여 의료기관 HMD(700)에 제공할 수 있다. In an embodiment of the present invention, when providing a remote counseling service, the medical institution server 600 may analyze data collected through psychological counseling content and provide it to the HMD 700 of the medical institution.

도 3은 본 발명의 일 실시예에 따른 정신건강 및 심리상담 콘텐츠 제공 방법을 보여주는 흐름도이다. 3 is a flowchart illustrating a method of providing mental health and psychological counseling content according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 정신건강 및 심리상담 콘텐츠 제공 방법은, 어플리케이션이 실행되고(S301), AR 가상 동반자 콘텐츠가 실행되면(S303), 콘텐츠 제공 서버(500)는 비콘(400)이 송출하는 위치정보를 기반으로, HMD(100)의 이동 위치를 확인하고, HMD(100)의 위치에 따라 미리 정해진 AR 가상 동반자 콘텐츠를 HMD(100)에 제공한다(S305). Referring to Figure 3, the mental health and psychological counseling content providing method of the present invention, when the application is executed (S301), AR virtual companion content is executed (S303), the content providing server 500 is a beacon 400 Based on the transmitted location information, the moving location of the HMD 100 is checked, and the AR virtual companion content predetermined according to the location of the HMD 100 is provided to the HMD 100 (S305).

그리고, 콘텐츠 제공 서버(500)는 AR 가상 동반자 콘텐츠 제공 중에 사용자의 선택에 따라 VR 기반의 가상 동반자 콘텐츠를 제공한다(S307). Then, the content providing server 500 provides VR-based virtual companion content according to a user's selection while providing AR virtual companion content (S307).

사용자의 선택에 따라 VR 심리상담 콘텐츠가 실행되면(S309), VR 기반의 심리검사, 집단 심리검사, 명상, 컬러테라피 등의 심리상담 서비스로 구성된 콘텐츠를 제공한다(S311). When VR psychological counseling content is executed according to the user's selection (S309), a content consisting of psychological counseling services such as VR-based psychological tests, group psychological tests, meditation, and color therapy is provided (S311).

이때, 심리검사에서 검사 결과 점수가 미리 정해진 위험수치를 초과하는 경우(S313), 현재 위치를 기준으로 인근 정신 의료 기관의 위치, 연락처, 홈페이지 주소를 포함하는 정보를 제공한다(S315). At this time, when the test result score in the psychological test exceeds a predetermined risk value (S313), information including the location, contact information, and homepage address of a nearby mental health institution is provided based on the current location (S315).

사용자의 선택에 따라 VR 원격 정신심리상담 콘텐츠가 실행되면(S317), 콘텐츠 제공 서버(500)와 의료기관 서버(600)는 VR 기반의 원격 상담서비스를 제공한다. When VR remote psychological counseling content is executed according to the user's selection (S317), the content providing server 500 and the medical institution server 600 provide a VR-based remote counseling service.

본 발명에서 콘텐츠는 게임화를 중심으로 구현할 수 있다. 게임화(Gamification, 게이미피케이션)는 게임이 아닌 분야에 게임 구성요소를 적용하여 흥미를 유발하고 대상을 몰입시키는 방법으로서, 도전과제와 경쟁, 점수, 보상 등 게임 특성을 활용해 지루하거나 지속하기 힘든 행위에 재미를 주고 효율을 높여 교육, 건강관리 등 다양한 분야에 활용된다.In the present invention, the content can be implemented based on gamification. Gamification (gamification) is a method of inducing interest and immersing the target by applying game components to fields other than games, and using game characteristics such as challenges, competition, points, and rewards to make use of game characteristics, such as boring or continuing. It is used in various fields such as education and health care by giving fun to difficult activities and increasing efficiency.

본 발명의 정신건강 및 심리상담 콘텐츠 제공 시스템은 1인 가구원의 우울, 불안, 스트레스 등 정신건강 증진을 위한 가상현실 심리상담 솔루션 및 엔터테인먼트형 가상현실 동반자 콘텐츠를 제공하며, 외로운 현대인의 정신적 위로와 마음의 안정을 주는 가상현실 동반자 콘텐츠를 제공한다. 그리고, 가상현실 동반자 콘텐츠를 통해 1인 가구원의 우울, 불안, 스트레스 등 정신건장 증진을 위한 심리상담의 보조 역할을 담당한다. The mental health and psychological counseling content providing system of the present invention provides a virtual reality psychological counseling solution and entertainment-type virtual reality companion content for improving mental health such as depression, anxiety, and stress of a single household member, and provides the mental comfort and mind of a lonely modern person. Provides virtual reality companion content that provides stability. In addition, it plays an auxiliary role in psychological counseling to improve mental health, such as depression, anxiety, and stress, of a single household member through virtual reality companion contents.

본 발명에서 제공하는 콘텐츠는 주로 두가지 파트로 구성된다. The content provided by the present invention is mainly composed of two parts.

먼저, 집에서 가상동반자 캐릭터와 함께 대화하기, 여행하기, 영화보기, 셀카찍기 등 마치 게임을 하듯 다양한 활동을 통해 정신적 위로와 마음의 안정을 주는 가상동반자 콘텐츠가 있다. First, there is a virtual companion content that provides mental comfort and peace of mind through various activities such as chatting with the virtual companion character at home, traveling, watching a movie, taking a selfie, and so on.

그리고, 사용자(피상담자, 환자)가 심리상담센터나 정신의료기관에 직접 찾아가지 않고도 가상현실 속에서 심리검사, 집단 심리상담, 명상, 컬러테라피 등 심리상담 서비스를 받을 수 있는 콘텐츠가 있다. 이때, 심리상담센터에 속한 상담사와 정신의료기관에 속한 의사는 사용자(피상담자, 환자)가 VR 체험형 심리상담 솔루션을 통해 체험한 데이터를 받아보고 상담관리를 할 수 있다. In addition, there is content that allows users (the subject, patient) to receive psychological counseling services such as psychological tests, group psychological counseling, meditation, and color therapy in virtual reality without directly visiting a psychological counseling center or a psychiatric medical institution. At this time, the counselor belonging to the psychological counseling center and the doctor belonging to the psychiatric institution can receive the data experienced by the user (the subject, the patient) through the VR experience-type psychological counseling solution and manage the counseling.

도 2를 참조하여, 본 발명의 정신건강 및 심리상담 콘텐츠를 제공하는 전체 시나리오에 대해 설명하면 다음과 같다. Referring to FIG. 2, the entire scenario for providing mental health and psychological counseling content according to the present invention will be described as follows.

1인 가구원 등의 사용자는 가정에서 ①의 시스템을 통해 집에서 AR 가상동반자 콘텐츠를 체험한다. 이때, 가정의 주요 지점 및 제품에 비콘을 부착한다. 즉, 사용자가 가정내에서 이동하는 위치에 따라 가상동반자와 함께 TV보기, 식사하기, 대화하기 등 콘텐츠를 앱 실행을 위한 데이터를 전송하기 위해 쇼파, 식탁, 침대 등에 비콘을 부착한다. Users, such as one-person household members, experience AR virtual companion content at home through the system in ① at home. At this time, beacons are attached to major homes and products. That is, beacons are attached to sofas, tables, beds, etc. to transmit data for running apps, such as watching TV, eating, and chatting with a virtual companion depending on where the user moves in the home.

그리고, 사용자의 이동 동선에 따라 부착된 비콘을 통해 위치 맥락에 따른 가상동반자 콘텐츠 앱을 실행한다. 예를 들어, 사용자가 쇼파에 앉으면 가상동반자와 함께 TV 보기 콘텐츠 실행 데이터를 스마트폰으로 전송한다. 그리고, 사용자가 식탁으로 가면 가상동반자와 함께 식사하기 콘텐츠 실행 데이터를 스마트폰으로 전송한다. 그리고, 사용자가 침대로 이동하면 가상동반자와 함께 취침 전 함께 대화하기 콘텐츠 실행 데이터를 스마트폰으로 전송한다.Then, the virtual companion content app according to the location context is executed through a beacon attached according to the movement of the user. For example, when a user sits on a sofa, TV viewing content execution data is transmitted to a smartphone with a virtual companion. And, when the user goes to the dining table, it transmits the content execution data for eating with the virtual companion to the smartphone. And, when the user moves to bed, it transmits the content execution data to the smartphone before going to bed with the virtual companion.

사용자는 HMD(100)에 장착된 스마트폰을 통해 콘텐츠 앱을 실행하고, 이때 스마트폰의 카메라를 통해 시스루 모드(See-through mode)로 HMD를 통해 실제 공간을 볼 수 있다. The user runs the content app through the smartphone mounted on the HMD 100, and at this time, the user can see the actual space through the HMD in see-through mode through the camera of the smartphone.

사용자는 ②의 AR/VR 정합 기술이 적용된 AR 가상동반자 콘텐츠를 체험한다. 즉, 시스루 모드로 보여지는 실제 공간에 AR 기술을 적용한 가상동반자 콘텐츠를 실행한다. 그러면, 사용자는 실제 쇼파, 식탁, 침대 공간에 AR로 구현된 가상동반자 캐릭터와 함께 TV보기, 식사하기, 대화하기, 셀카찍기 등 게이미피케이션이 적용된 활동을 통해 정신적 위로와 마음의 안정을 통해 불안과 우울, 스트레스를 감소시켜주는 AR 가상동반자 콘텐츠 체험을 한다. Users experience AR virtual companion content applied with the AR/VR matching technology of ②. In other words, it runs virtual companion content that applies AR technology to the real space shown in see-through mode. Then, the user is anxious through mental comfort and mental stability through gamification-applied activities such as watching TV, eating, talking, and taking selfies with a virtual companion character implemented in AR on the actual sofa, dining table, and bed space. Experience AR virtual companion content that reduces depression and stress.

그리고, 사용자는 ②의 AR/VR 정합 기술이 적용된 AR 가상동반자 콘텐츠를 체험하다가 ③ 몰입형 VR 콘텐츠를 체험할 수 있다. And, the user can experience ③ immersive VR content while experiencing AR virtual companion content to which the AR/VR matching technology of ② is applied.

몰입형 VR 콘텐츠는 AR 가상동반자 캐릭터와 함께 TV보기, 식사하기, 대화하기 등의 콘텐츠를 체험하는 도중에 가상동반자 캐릭터와 함께 실제 공간이 아닌 가상현실로 구현된 다양한 정신건강의학적 처치가 적용된 활동을 체험하는 것이다. Immersive VR content experiences various mental health medical treatments implemented in virtual reality, not in real space, with virtual companion characters while experiencing contents such as watching TV, eating, and chatting with AR virtual companion characters. It is to do.

몰입형 VR 콘텐츠는 시공간적 제약 없이, 안전하고 통제된 가상현실에서 가상동반자와 함께 해변여행, 해저탐험, 영화관람, 운동 등의 정신의학적 처치가 적용된 가상체험(상호작용)을 통해 행복감, 힐링, 안정, 치유, 삶의 만족도, 불안 및 우울 감소 등 1인 가구원의 건강문제를 해결할 수 있다. 이 때 가상현실의 콘텐츠를 구현하기 위해 스마트폰 카메라를 통해 실제 공간을 볼 수 있는 시스루 모드에서 스마트폰 화면을 통해 콘텐츠를 볼 수 있는 몰입형 디스플레이 모드로 전환되어 몰입형 VR 가상동반자 콘텐츠를 구현한다. Immersive VR content is a sense of happiness, healing, and stability through virtual experiences (interactions) applied with psychiatric treatments such as beach travel, underwater exploration, movie viewing, and exercise with a virtual companion in a safe and controlled virtual reality without time and space constraints. , Healing, life satisfaction, reduction of anxiety and depression, etc., can solve health problems of a single member of the household. At this time, in order to realize the contents of virtual reality, the see-through mode in which the actual space can be viewed through the smartphone camera is switched to the immersive display mode in which the contents can be viewed through the smartphone screen, thereby implementing the immersive VR virtual companion content. .

본 발명에서 콘텐츠 인터랙션을 구현하는 기술은 손동작 인식 센서(200)를 통해 손으로 잡고, 터치하고, 넘기는 등의 손동작을 통한 콘트롤과, HMD(100)에 장착된 마이크를 통해 음성으로 콘트롤하는 기술을 적용할 수 있다. In the present invention, the technology for implementing content interaction includes control through hand gestures such as holding, touching, and flipping with a hand through the hand gesture recognition sensor 200, and a technology for controlling with voice through a microphone mounted on the HMD 100. Can be applied.

본 발명에서 사용자는 심리상담센터나 정신의료기관에 직접 찾아가지 않고도 가상현실 속에서 심리검사, 집단 심리상담, 명상, 컬러테라피 등 정신심리상담 서비스를 받을 수 있는 VR 심리상담 콘텐츠(④)를 체험할 수 있다. In the present invention, users can experience VR psychological counseling contents (④) that can receive psychological counseling services such as psychological tests, group psychological counseling, meditation, color therapy, etc. in virtual reality without directly visiting a psychological counseling center or a mental health institution. I can.

사용자는 심리상담을 받고 싶을 때 HMD(100)를 착용하고, 언제든지 시공간의 제약 없이 내가 상담받고 싶은 시간과 장소에서 VR 심리상담 콘텐츠 앱을 실행하여 가상현실로 구현된 상담콘텐츠를 체험할 수 있다. 예를 들어, 사용자는 가상현실로 미리 구현된 상담실에서 가상의 상담사와 가상의 피상담자 캐릭터와 함께 심리검사, 집단 심리상담, 컬러테라피, 명상, 그림카드 상담 등 다양한 상담을 체험한다. The user wears the HMD 100 when they want to receive psychological counseling, and can experience the counseling content implemented in virtual reality by running the VR psychological counseling content app at any time and place where they want to receive counseling without time and space constraints. For example, users experience various consultations such as psychological tests, group psychological counseling, color therapy, meditation, and picture card counseling together with a virtual counselor and a virtual counselor character in a counseling room pre-implemented with virtual reality.

본 발명에서 VR 심리상담 콘텐츠에는 VR 이고그램(Egogram), VR Mindfulness(마음챙김 명상), 컬러 테라피, VR 게슈탈트 관계성 향상 프로그램 등 다양한 정신의학적 방법론과 심리상담 기법, 상담언어가 적용되어 있으며, 사용자의 기분상태, 콘텐츠 사용 및 행동, 언어 패턴을 분석하여 맥락에 맞는 적절한 콘텐츠를 모듈화하여 제공한다. In the present invention, various psychiatric methodologies, psychological counseling techniques, and counseling languages, such as VR Egogram, VR Mindfulness, color therapy, VR Gestalt relationship improvement program, etc., are applied to the VR psychological counseling content. By analyzing the state of mind, content usage and behavior, and language patterns, it provides modularized content appropriate to the context.

본 발명에서 VR 심리검사를 통해서 위험 수준의 판정을 받을 경우 바로 인근 정신심리상담센터나 정신의학과에 방문할 수 있도록 위치기반 정신의료기관 정보(위치, 연락처, 홈페이지 주소 등)를 제공할 수 있다. In the present invention, when a risk level is determined through a VR psychological test, location-based psychiatric institution information (location, contact information, homepage address, etc.) may be provided so that a nearby psychological counseling center or a psychiatric department can be visited.

본 발명에서 사용자는 실시간 VR 원격 정신심리상담 콘텐츠(⑤)를 체험할 수 있다. 즉, 사용자가 원할 경우 직접 정신심리상담을 요청할 수 있으며, 가상현실로 구현된 심리상담실에서 원격으로 정신심리상담을 받을 수 있다. In the present invention, the user can experience real-time VR remote psychological counseling content (⑤). That is, if the user wishes, he or she can directly request psychological counseling, and receive psychopsychological counseling remotely from a psychological counseling room implemented in virtual reality.

사용자는 스마트폰으로 정신심리상담자에게 심리상담으로 요청하면 정심심리상담사가 VR 원격 네트워크에 접속하여 VR 정신심리상담실을 개설하고, 가상의 심리상담 공간에서 자신의 아바타를 통해 실시간으로 원격 상담 서비스를 제공할 수 있다. 이때, 정신심리 상담자는 사용자의 VR, AR 정신심리상담 콘텐츠를 통해 수집된 데이터를 통해 상담관리를 할 수 있다. 그리고, 정신심리 상담자는 사용자가 체험한 각종 콘텐츠의 사용시간, 검사결과, 대화내용 등의 데이터를 분석하여 누가적으로 관리할 수 있는 관리자용 앱에 접속하여 체계적인 심리상담 관리할 수 있다.When users request psychological counseling with their smartphones for psychological counseling, the emotional psychological counselor connects to the VR remote network to open a VR psychological counseling room, and provides a real-time remote counseling service through their avatar in a virtual psychological counseling space. can do. At this time, the psychopsychiatric counselor may manage the consultation through data collected through the user's VR and AR psychopsychological counseling contents. In addition, the psychological counselor can systematically manage psychological counseling by accessing an app for managers that can manage users by analyzing data such as usage time, test results, and conversation contents experienced by the user.

도 4는 본 발명의 일 실시예에 따른 전체 콘텐츠 진행 순서를 도시한 흐름도이고, 도 5 및 도 6은 본 발명의 일 실시예에 따른 콘텐츠 화면예이다. 4 is a flowchart showing a procedure of proceeding with the entire content according to an embodiment of the present invention, and FIGS. 5 and 6 are examples of a content screen according to an embodiment of the present invention.

도 4 내지 도 6을 참조하면, 클라이언트가 실행되면(S401), 정신건강 및 심리상담 콘텐츠의 초기화면이 디스플레이된다. 초기화면에는 '가상동반자 아리'탭과 '우울증 가상 상담' 탭이 마련되어 있어서, 사용자의 선택에 따라 화면이 전환된다. 4 to 6, when the client is executed (S401), an initial screen of mental health and psychological counseling content is displayed. On the initial screen, a'virtual companion Ari' tab and a'depression virtual consultation' tab are provided, and the screen is switched according to the user's selection.

'가상 동반자 아리' 탭을 선택하면(S403), AR 가상 동반자(식사하기, TV시청), VR 해변여행, 셀카촬영 등의 콘텐츠를 선택할 수 있는 화면이 표시된다(S403, S405, S407, S409). 이때, AR 가상 동반자 콘텐츠의 경우, 마커 종류에 따라 의상을 달리하는 콘텐츠를 선택할 수 있다(S411, S413, S415, S417). When the'Virtual Companion Ari' tab is selected (S403), a screen for selecting contents such as AR virtual companion (eating, watching TV), VR beach trip, and taking a selfie is displayed (S403, S405, S407, S409). . In this case, in the case of AR virtual companion content, a content having a different costume according to a marker type may be selected (S411, S413, S415, S417).

'우울증 가상 상담' 탭을 선택하면(S419), “하나되어”, “감정술사”, “내 삶의 주인공은 나야”, “함께 완성하는 멜로디” 등의 시나리오를 선택할 수 있다(S421, S423, S425, S427).When the'depression virtual counseling' tab is selected (S419), scenarios such as “Become one”, “Emotionalist”, “I am the main character of my life”, and “A melody to complete together” can be selected (S421, S423, S425, S427).

도 7은 본 발명의 일 실시예에 따른 헬스케어 서비스에서 제공되는 콘텐츠의 전체 시나리오를 보여주는 블록도이다. 7 is a block diagram showing an entire scenario of content provided by a healthcare service according to an embodiment of the present invention.

도 7은 본 발명에서 게임화한 콘텐츠를 제공하는 것에 대한 실시예이고, 도 8 내지 도 12은 본 발명의 일 실시예에 따른 콘텐츠를 보여주는 화면예이다. 7 is an embodiment of providing game-generated content in the present invention, and FIGS. 8 to 12 are screen examples showing content according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 게임 콘텐츠에서 게임을 시작하면(S601), 식사하기(S603), TV 보기(S611), 해변 여행(S619), 셀카찍기(S627)의 크게 네가지 모드 중에 하나를 선택할 수 있는 화면을 제공한다. Referring to FIG. 7, when starting a game in game content according to an embodiment of the present invention (S601), eating (S603), watching TV (S611), a beach trip (S619), and taking a selfie (S627), It provides a screen where you can select one of four modes.

도 8에서 최초 실행 시, 식사하기(S603), TV 보기(S611), 해변 여행(S619), 셀카찍기(S627)의 크게 네가지 모드 중에 하나를 선택할 수 있는 화면이 제공된 화면예를 도시하고 있다. 이 화면에서 사용자가 하나의 모드를 터치하는 식으로 선택하면, 해당 모드의 콘텐츠를 실행한다. 이때 실행하는 방식은 페이드 인/페이드 아웃 효과를 주어, 장면 전환을 연출할 수 있다. 8 shows an example of a screen in which a screen for selecting one of four major modes: eating (S603), watching TV (S611), beach travel (S619), and taking a selfie (S627) for the first time. On this screen, when the user selects a mode by touching it, the content of that mode is executed. At this time, the method to be executed gives a fade in/fade out effect, so that a scene change can be produced.

그리고, 도 9에서 해당 모드의 콘텐츠를 종료하고 도 8의 콘텐츠 모드 선택 페이지로 돌아가기 위한 화면이 예시되어 있다. 예를 들어, 식사하기/TV보기/해변여행 등의 콘텐츠를 실행 중에 손을 좌우로 3회 이상 흔들면, 도 9과 같은 해당 콘텐츠의 종료 여부를 묻는 팝업 창이 출력될 수 있다. In addition, in FIG. 9, a screen for ending the content of the corresponding mode and returning to the content mode selection page of FIG. 8 is illustrated. For example, if a hand is shaken three or more times from side to side while content such as eating/watching TV/beach trip is being executed, a pop-up window asking whether to end the corresponding content as shown in FIG. 9 may be displayed.

사용자가 식사하기(S603)를 선택하면, AR 화면의 공간에서 가상의 동반자 캐릭터가 등장하고(S605), AR 화면에서 사용자와 캐릭터가 서로 대화하면서 콘텐츠가 진행되며(S607), 상황에 따라 AR 화면에서 선택지가 주어지면, 사용자는 선택지 중에 하나를 선택하면서 콘텐츠가 진행된다(S609). When the user selects to eat (S603), a virtual companion character appears in the space of the AR screen (S605), and the content proceeds while the user and the character communicate with each other on the AR screen (S607), depending on the situation. If an option is given in, the user selects one of the options and the content proceeds (S609).

도 10는 실제 배경을 바탕으로 가상의 동반자 캐릭터를 정합한 AR 화면을 예시한 것이다. 10 illustrates an AR screen in which virtual companion characters are matched based on an actual background.

도 10를 참조하면, 배경의 특정 위치에 캐릭터를 표시한다. 이때, 캐릭터를 표시하는 방법은 AR 마커를 사용할 수도 있고, 배경 스캐닝을 통해 위치를 지정할 수도 있다. 그리고, 캐릭터 대사 루틴 패턴에 따라 캐릭터의 대사를 출력하며, 캐릭터의 대사 패턴에 따라 선택지에서 선택할 수 있는 화면을 제공한다. Referring to FIG. 10, a character is displayed at a specific position in the background. In this case, an AR marker may be used as a method of displaying a character, or a location may be designated through background scanning. In addition, it outputs the dialogue of the character according to the character dialogue routine pattern, and provides a screen for selecting from options according to the dialogue pattern of the character.

도 11은 선택지가 표시된 화면예이다. 11 is an example of a screen on which options are displayed.

도 11에서 보는 바와 같이, 가상 동반자 캐릭터와 대화 중에 선택지가 있을 경우, 선택지를 표시하게 되며, 각 선택지별 버튼 이미지를 표시하여 선택이 가능하도록 한다. 그리고, 사용자의 터치 등 선택에 따라 해당 선택지를 선택하고, 이에 따른 다음 대사로 진행하게 된다. 도 11에서는, 사용자가 된장국, 고깃국, 알탕 중에서 국 메뉴를 선택할 수 있도록 하고 있다.As shown in FIG. 11, when there is an option during a conversation with the virtual companion character, the option is displayed, and a button image for each option is displayed to enable the selection. In addition, a corresponding option is selected according to a user's touch or the like, and accordingly, the next dialogue is proceeded. In Fig. 11, the user can select a soup menu from miso soup, meat soup, and altang.

사용자가 TV 보기(S611)를 선택하면, AR 화면의 공간에서 가상의 동반자 캐릭터가 등장하고(S613), AR 화면에서 사용자와 캐릭터가 서로 대화하면서 콘텐츠가 진행되며(S615), 상황에 따라 AR 화면에서 선택지가 주어지면, 사용자는 선택지 중에 하나를 선택하면서 콘텐츠가 진행된다(S617). When the user selects TV viewing (S611), a virtual companion character appears in the space of the AR screen (S613), and content progresses while the user and the character communicate with each other on the AR screen (S615), depending on the situation. If an option is given in, the user selects one of the options and the content proceeds (S617).

예를 들어, 식사하기/TV보기 모드에서 AR 마커를 활용하여 상황에 따른 캐릭터 배치할 수 있는데, 식사하기의 경우 테이블 건너편에 캐릭터를 배치하고, TV보기의 경우 소파에 앉아있는 캐릭터를 배치할 수 있다. 그리고, 대화 패턴에서, 콘텐츠 시작 시, “어서와, 잘다녀왔어?” 와 같은 기본 대화 패턴을 지정하고, 선택지의 선택에 따라 다른 대사가 출력되도록 한다. For example, in the dining/TV viewing mode, you can use AR markers to place characters according to the situation.In the case of eating, you can place the character across the table, and in the case of TV viewing, you can place the character sitting on the sofa. have. And, in the conversation pattern, at the beginning of the content, “Welcome, have you been well?” Designate a basic dialogue pattern such as, and display different dialogues according to the choice of the option.

사용자가 해변여행(S619)을 선택하면, AR 화면의 공간에서 가상의 동반자 캐릭터가 등장하고(S621), 캐릭터와 대화하면서(S623), 자유롭게 인터랙션이 수행된다(S625). When the user selects the beach trip (S619), a virtual companion character appears in the space of the AR screen (S621), while talking with the character (S623), the interaction is freely performed (S625).

도 12은 해변여행 콘텐츠를 선택한 경우의 화면예로서, VR 배경 화면에 가상 동반자 캐릭터가 등장하며, 사용자는 가상 동반자 캐릭터가 뛰어노는 것을 감상하고, 대화 등 인터랙션을 통해 캐릭터의 반응을 관찰한다. 12 is an example of a screen when a beach trip content is selected. A virtual companion character appears on a VR background screen, and a user observes the virtual companion character playing and observes the character's reaction through interactions such as dialogue.

예를 들어, 프라이빗 해수욕장을 배경으로 가상 동반자 캐릭터를 배치하고, 사용자는 비치체어에 앉아있는 상태로 설정한다. 그리고, 오브젝트 조작 및 캐릭터 리액션의 종류는, '가만히 있는다, 물을 뿌린다(물건을 던진다), 손으로 터치한다, 손짓하여 부른다' 등으로 설정할 수 있으며, 콘텐츠 시작 시 기본 대화 패턴을 지정하고, 행동에 따른 리액션을 지정한다. 예를 들어, 일정시간 가만히 있는 경우, 손으로 터치할 경우, 물을 뿌릴 경우(물건을 던질 경우), 손짓하여 부를 경우 등을 가정하여 가상 캐릭터의 리액션을 설정한다.For example, a virtual companion character is placed in the background of a private beach, and the user is set to sit on a beach chair. And, the type of object manipulation and character reaction can be set as'be still, sprinkle water (throw an object), touch with hand, call by hand', etc., and specify a basic conversation pattern at the beginning of the content, and act. Specifies the reaction according to. For example, the reaction of the virtual character is set by assuming that it is still for a certain period of time, when it is touched with a hand, when water is sprayed (when an object is thrown), or when it is called by hand gestures.

사용자가 셀카찍기(S627)를 선택하면, AR 화면 공간에서 가상의 동반자 캐릭터가 등장하고(S629), AR 화면에서 사용자와 캐릭터가 서로 대화하면서 콘텐츠가 진행되며(S631), 캐릭터 포즈(S633)와 함게 사진을 촬영하고(S635), 이에 대한 반응 등의 캐릭터 대사가 출력되는 식으로 진행된다(S637). When the user selects to take a selfie (S627), a virtual companion character appears in the AR screen space (S629), and content progresses while the user and the character communicate with each other on the AR screen (S631), and character poses (S633). Together, a picture is taken (S635), and a character dialogue such as a reaction is outputted (S637).

본 발명에서 셀카찍기 모드는 실사 배경에 정합된 가상 태릭터와 셀카를 찍을 수 있는 모드이고, 이때 가상 캐릭터는 화면 최하단에 상반신만 출력되는 정도로 고정배치한다. 그리고, 최초 캐릭터 등장 연출이 종료하면, 콘텐츠 시작 시 대사 출력 후, 대기 상태로 전환한다. 대기 상태로 5초 이상 경과하면, 지정된 포즈와 대사를 출력하고, 이후 10초 이상 경과하면 다른 포즈로 전환하면서 대사를 출력하고, 촬영 이후 지정된 패턴의 대사와 포즈를 출력한다. 도 20은 실사 배경에 정합된 가상 캐릭터와 셀카를 찍을 수 있는 셀카찍기 모드의 화면 표시를 예시한다.In the present invention, the selfie mode is a mode in which you can take a selfie with a virtual talicter matched with a live-action background, and in this case, the virtual character is fixedly arranged to the extent that only the upper body is displayed at the bottom of the screen. And, when the first character appearance and directing is finished, the dialogue is output when the content starts, and then it switches to the standby state. If more than 5 seconds have elapsed in the standby state, the specified pose and dialogue are output, and after 10 seconds or more, the dialogue is output while switching to another pose, and dialogue and pose of the specified pattern are output after shooting. 20 illustrates a screen display in a selfie-taking mode capable of taking a selfie with a virtual character matched to a real-life background.

본 발명의 헬스케어 서비스 시스템의 콘텐츠에서는 게임화 요소(Gamification factor)를 추가한다. 즉, 콘텐츠 사용시간 및 긍정적인 피드백에 성공했을 때에 따른 보상을 하는 이른바 친밀도 시스템을 구현한다. 예를 들어, 친밀도가 낮은 경우, 가상 동반자 캐릭터는 “안녕하세요/식사 하셨나요”로 인사를 하고, 친밀도가 높은 경우, 가상 동반자 캐릭터는 “안녕? / 밥 먹었니?”로 인사를 건넨다. 그리고, 친밀도가 높아질수록 가상 동반자가 출력하는 질문이 증가하고, 캐릭터의 의상, 악세사리 등 아이템 교체 기능도 추가될 수 있다. In the contents of the healthcare service system of the present invention, a gamification factor is added. In other words, it implements a so-called intimacy system that compensates for successful content usage time and positive feedback. For example, if the intimacy is low, the virtual companion character greets you with “Hello/Did you have a meal”, and if the intimacy is high, the virtual companion character says “Hello? / Did you eat?" In addition, as the intimacy increases, the number of questions output by the virtual companion increases, and an item replacement function such as a character's costume and accessories may be added.

그리고, 본 발명에서는 사용자와 가상 동반자 캐릭터 간의 인터랙션을 강화한다. 그래서, 게임 처음 실행 시 사용자의 생일, 좋아하는 색등의 기본 데이터 입력을 통한 인터랙션을 구현하는데, 예를 들어 사용자의 생일에 푸시 알림 등으로 알려줄 수 있다. In addition, in the present invention, the interaction between the user and the virtual companion character is reinforced. So, when the game is run for the first time, an interaction is implemented by inputting basic data such as the user's birthday and favorite color. For example, the user's birthday can be notified by push notification.

그리고, 책, 영화 등의 타 콘텐츠 사용을 유도하고, 유도된 콘텐츠 주제로 퀴즈 및 시나리오를 진행한다. 예를 들어, “어린왕자라는 책을 본 적 있니? -> 책 읽었니? 문제를 내볼게 어린왕자가 온 별의 이름은?” 등으로 시나리오를 진행할 수 있다. In addition, the use of other content such as books and movies is encouraged, and quizzes and scenarios are conducted with the subject of the induced content. For example, “Have you ever seen a book called The Little Prince? -> Have you read the book? Let me give you a question. What is the name of the star the little prince came from?” You can proceed with the scenario.

그리고, 해변 여행 모드에서 VR환경에서 가상 캐릭터 이외의 인터랙션 요소를 추가한다. 예를 들어, 가상 캐릭터가 바다를 응시하면서 "와 너무 시원해 보인다"로 대사를 하고, 모래성을 응시하면서 "누가 만든 걸까?"등의 대사를 출력한다. In addition, in the beach travel mode, interaction elements other than virtual characters are added in the VR environment. For example, a virtual character stares at the sea and says "Wow, it looks so cool", and while staring at the sand castle, it outputs a line such as "Who made it?"

그리고, 리얼 타임 이벤트를 구현할 수 있는데, 예를 들어, 특정 기념일 등의 이벤트 데이(day)에 특수 이벤트를 실시하고, 새벽에 콘텐츠 접속시 불면증에 대한 이야기를 소재로 대사를 출력하는 식이다. In addition, real-time events can be implemented. For example, special events are held on event days such as specific anniversaries, and when the content is accessed at dawn, a dialogue is output using the story of insomnia.

도 13는 본 발명의 일 실시예에 따른 헬스케어 서비스 시스템의 AR을 통해 가상의 캐릭터와 대화하는 진행 과정을 나타낸 흐름도이다. 13 is a flowchart illustrating a process of communicating with a virtual character through an AR of a healthcare service system according to an embodiment of the present invention.

도 13를 참조하면, AR 대화하기를 실행하면(S101), 친밀도를 체크하고(S102), 기념일 여부 등의 날짜를 체크하고(S103), 아침, 점심, 저녁, 심야 등의 시간을 체크한다(S104). 그리고, 이에 따라 적절한 인사말을 출력한다(S105). Referring to FIG. 13, when AR conversation is executed (S101), intimacy is checked (S102), dates such as anniversaries are checked (S103), and times such as breakfast, lunch, dinner, and late night are checked ( S104). And, accordingly, an appropriate greeting is output (S105).

그리고, 색상에 따른 기분 확인 이벤트 진행 여부를 체크한다(S106). 이 이벤트는 1일 1회 진행하며, 이미 진행된 상태이면 대화 모드로 전환한다(S112). Then, it is checked whether or not the mood confirmation event is progressed according to the color (S106). This event proceeds once a day, and if it is already in progress, it switches to the conversation mode (S112).

그리고, 색상에 따른 기분 확인하고(S108), 이에 따른 컬러 테라피 진행 여부를 확인한다(S109). 이때 사용자가 컬러 테라피를 선택하지 않으면 대화모드로 전환한다(S112). Then, it checks the mood according to the color (S108), and checks whether the color therapy proceeds accordingly (S109). At this time, if the user does not select color therapy, the user switches to the conversation mode (S112).

컬러 테라피를 진행하면, 컬러 테라피 장면으로 전환되고(S110), 컬러 테라피 진행이 완료되면 대화 모드로 전환된다(S111, S112). When the color therapy is performed, the color therapy scene is switched (S110), and when the color therapy is completed, the conversation mode is switched (S111, S112).

그리고, 대화모드에서 친밀도에 따른 패턴을 선별하여 가상 캐릭터가 대사를 출력하고(S113), 캐릭터의 대사에 따라 선택지를 선택하면, 그에 따른 캐릭터 대사가 출력된다(S114~S116).In the conversation mode, a virtual character outputs a dialogue by selecting a pattern according to intimacy (S113), and when an option is selected according to the dialogue of the character, the corresponding character dialogue is output (S114 to S116).

본 발명의 실시예에서 친밀도를 산정할 때, 콘텐츠 실행시 친밀도를 1씩 증가시킬 수 있으며, 사용자가 특정 대화 선택 시 친밀도를 증가하거나 감소하도록 설정할 수 있다. 이렇게 산정된 친밀도에 따라 가상 동반자 캐릭터의 인사말이 다르게 출력되도록 구현할 수 있다 In the embodiment of the present invention, when calculating the intimacy, the intimacy may be increased by 1 when content is executed, and the intimacy may be set to increase or decrease when a user selects a specific conversation. It can be implemented so that the greeting of the virtual companion character is displayed differently according to the calculated intimacy.

도 14은 본 발명의 일 실시예에 따른 콘텐츠에서 친밀도에 따른 가상 캐릭터의 인사말을 나타낸 도표이다. 14 is a diagram showing a greeting of a virtual character according to intimacy in content according to an embodiment of the present invention.

도 14을 참조하면, 친밀도가 0~10이면 가상 동반자 캐릭터는 “안녕하세요?'라는 인사말을 출력하고, 친밀도가 11~20이면 가상 동반자 캐릭터는 “어서오세요, 오늘도 와주었군요”라는 인사말을 출력하고, 친밀도가 21 이상이면 가상 동반자 캐릭터는 “기다리고 있었어요”라는 인사말을 출력한다. 이처럼, 본 발명에서는 친밀도에 따라 가상 동반자 캐릭터가 출력하는 인사말이 달라지도록 구현할 수 있다. Referring to FIG. 14, if the intimacy is 0-10, the virtual companion character outputs a greeting “Hello?”, and if the intimacy is 11-20, the virtual companion character outputs a greeting saying “Welcome, you are here again”, If the intimacy is 21 or higher, the virtual companion character outputs a greeting saying “I was waiting”. As described above, in the present invention, a greeting output from a virtual companion character may be changed according to intimacy.

도 15 및 도 16는 본 발명의 일 실시예에 따른 사용자의 생일 데이터를 수집하기 위한 화면예이다. 15 and 16 are screen examples for collecting birthday data of a user according to an embodiment of the present invention.

도 15 및 도 16를 참조하면, 최초 실행 시, 사용자의 생일을 입력할 수 있는 화면을 제공하여, 사용자의 생일을 입력받고, 사용자의 생일에 따른 특별 인사말을 출력할 수 있다. Referring to FIGS. 15 and 16, a screen for inputting a user's birthday may be provided at the first execution, so that a user's birthday may be input, and a special greeting according to the user's birthday may be output.

도 17은 본 발명의 일 실시예에 따른 콘텐츠에서 사용자의 생일에 가상 캐릭터가 표출하는 생일 축하 인사말을 예시한 도표이다. 17 is a diagram illustrating a happy birthday greeting expressed by a virtual character on a user's birthday in content according to an embodiment of the present invention.

도 17을 참조하면, 콘텐츠 실행 시, 날짜를 체크하여 사용자의 생일인 경우, 가상 동반자 캐릭터가 특별한 인사말을 출력한다. 예를 들어, 친밀도에 따라, 친밀도가 0~10인 경우, 가상 동반자 캐릭터가 “생일 축하해요”라는 인사말을 출력하고, 친밀도가 11~20인 경우, 가상 동만자 캐릭터가 “오늘 생일이죠? 알고 있었어요”라는 인사말을 출력하고, 친밀도가 21 이상인 경우, 가상 동반자 캐릭터가 “특별한 날 함께할 수 있어서 기뻐요”라는 인사말을 출력한다. Referring to FIG. 17, when content is executed, a date is checked and, in the case of a user's birthday, a virtual companion character outputs a special greeting. For example, according to intimacy, if the intimacy is 0-10, the virtual companion character outputs a greeting saying “Happy Birthday”, and if the intimacy is 11-20, the virtual companion character “Is it your birthday today? “I knew” is output, and if the intimacy is 21 or higher, the virtual companion character outputs a greeting saying “I am glad to be with you on a special day.”

도 18은 본 발명의 일 실시예에 따른 콘텐츠에서 시간에 따른 가상 캐릭터가 표출하는 인사말을 예시한 도표이다. 18 is a diagram illustrating a greeting expressed by a virtual character over time in content according to an embodiment of the present invention.

도 18을 참조하면, 콘텐츠 실행 시, 시간을 체크하여, 시간에 따라 가상 동반자 캐릭터가 표출하는 인사말을 달리할 수 있다. 즉, 아침 06:00~11:59 인 경우, 가상 동반자 캐릭터는 “좋은 아침이에요”라는 인사말을 출력하고, 점심 12:00~17:59 인 경우, 가상 동반자 캐릭터는 “점심은 먹었어요?”라는 인사말을 출력하고, 저녁 18:00~23:59 인 경우, 가상 동반자 캐릭터는 “오늘 하루도 수고 많았어요”라는 인사말을 출력하고, 심야 00:00~05:39 인 경우, 가상 동반자 캐릭터는 “잠이 오지 않아요?”라는 인사말을 출력한다. Referring to FIG. 18, when content is executed, a time may be checked, and a greeting expressed by a virtual companion character may be changed according to time. That is, in the case of 06:00~11:59 in the morning, the virtual companion character outputs a greeting saying “Good morning”, and in the case of 12:00~17:59 for lunch, the virtual companion character “Did you have lunch?” Is displayed, and in the case of 18:00~23:59 in the evening, the virtual companion character outputs a greeting saying “I did a great job today”, and in the case of 00:00~05:39 in the middle of the night, the virtual companion character Prints a greeting saying “Aren't you falling asleep?”

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.Although the present invention has been described using several preferred embodiments, these embodiments are illustrative and not limiting. Those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made without departing from the spirit of the present invention and the scope of the rights set forth in the appended claims.

100 HMD
200 손동작 인식 센서
300 몸동작 인식 센서
400 비콘
500 콘텐츠 제공 서버100 HMD
200 hand gesture recognition sensor
300 gesture recognition sensor
400 beacon
500 content serving server

Claims (7)

가정 내의 다수의 공간에 부착되는 비콘(beacon);
사용자의 손 동작을 인식하기 위한 손동작 인식 센서;
사용자의 몸 동작을 인식하기 위한 몸동작 인식 센서;
사용자의 머리에 착용되어 VR(Virtual Reality)과 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display);
상기 HMD와 통신하며, 상기 HMD에 VR 화면과 AR 화면을 제공하되, VR 화면과 AR 화면을 통해 가상의 동반자 캐릭터를 포함하는 정신건강 및 심리상담 관련 콘텐츠를 제공하고, 상기 손 동작 인식 센서로부터 인식된 사용자의 손 동작과 상기 몸 동작 인식 센서로부터 인식된 사용자의 몸 동작을 반영하여 상기 동반자 캐릭터와 인터랙션이 가능한 게임 형태의 콘텐츠를 제공하는 콘텐츠 제공 서버;
상기 콘텐츠 제공 서버와 통신하며, 상기 콘텐츠 제공 서버로부터 사용자의 상담 요청이 있으면, 미리 정해진 의료기관 단말에 상담 요청이 수신되었음을 알리고, VR을 통한 원격 상담 서비스를 제공하는 의료기관 서버; 및
의료기관의 의료진의 머리에 착용되고, 상기 의료기관 서버와 통신하며, 원격 상담 서비스를 위한 VR 화면이 디스플레이되는 의료기관 HMD를 포함하며,
상기 콘텐츠 제공 서버는 비콘이 송출하는 위치정보를 기반으로, 상기 HMD의 이동하는 위치를 확인하고, 상기 HMD의 위치에 따라 미리 정해진 콘텐츠를 상기 HMD에 제공하고,
상기 콘텐츠 제공 서버는 상기 HMD의 이동 위치에 따라 미리 정해진, AR 기반의 가상 동반자 캐릭터가 등장하는 AR 가상 동반자 콘텐츠를 제공하고,
상기 콘텐츠 제공 서버는 AR 가상 동반자 콘텐츠 제공 중, 사용자의 선택에 따라 VR 기반의 가상 동반자 캐릭터와 함께하는 VR 가상 동반자 콘텐츠를 제공하고,
상기 콘텐츠 제공 서버는 VR 기반의 심리검사, 집단 심리상담, 명상, 컬러 테라피를 포함하는 정신심리상담 콘텐츠를 상기 HMD에 제공하고,
상기 콘텐츠 제공 서버는 심리상담 콘텐츠의 심리 검사에서 검사 결과 점수가 미리 정해진 위험수치를 초과하는 경우, 현재 위치를 기준으로 미리 정해진 거리 이내에 존재하는 정신 의료 기관의 정보를 상기 HMD에 제공하고,
상기 콘텐츠 제공 서버는 사용자로부터 상담 요청이 있으면, 상기 의료기관 서버에 상담 요청 사실을 알리고, VR을 기반으로 하는 원격 상담 서비스가 상기 HMD를 통해 제공되도록 하고,
상기 의료기관 서버는 원격 상담 서비스 제공 시, 심리상담 콘텐츠를 통해 수집된 데이터를 분석하여 상기 의료기관 HMD에 제공하며,
상기 콘텐츠 제공 서버는 AR 가상 동반자 콘텐츠 제공시 시스루(See-through) 모드로 제공하고, 이후 VR 가상 동반자 콘텐츠가 선택되면 시스루 모드에서 전체 화면에 VR 영상을 디스플레이하는 몰입형 디스플레이 모드로 전환하고,
상기 콘텐츠 제공 서버는 콘텐츠 사용시간과 사용자로부터의 피드백 정보를 반영한 친밀도를 산출하고, 산출된 친밀도에 따라 AR 가상 동반자 콘텐츠 제공 시에 가상 동반자 캐릭터의 대사가 다르게 출력되도록 하고,
상기 콘텐츠 제공 서버는 콘텐츠 사용시간이 증가할수록 친밀도를 증가시키고, 콘텐츠 실행 횟수가 증가할수록 친밀도를 증가시키며,
상기 콘텐츠 제공 서버는 AR 가상 동반자 콘텐츠 제공 시에 접속한 시간대에 따라 가상 동반자 캐릭터의 인사말이 다르게 출력되도록 하는 것을 특징으로 하는 정신건강 및 심리상담 콘텐츠 제공 시스템.
Beacons attached to multiple spaces in the home;
A hand motion recognition sensor for recognizing a user's hand motion;
A body motion recognition sensor for recognizing a user's body motion;
A head mounted display (HMD) worn on a user's head to display a virtual reality (VR) and an augmented reality (AR) screen;
It communicates with the HMD, provides a VR screen and an AR screen to the HMD, provides mental health and psychological counseling-related content including a virtual companion character through the VR screen and AR screen, and recognizes from the hand motion recognition sensor A content providing server that provides game-type content capable of interacting with the companion character by reflecting the user's hand motion and the user's body motion recognized by the body motion recognition sensor;
A medical institution server that communicates with the content providing server and, when there is a consultation request from the user from the content providing server, notifies that a consultation request has been received to a predetermined medical institution terminal, and provides a remote consultation service through VR; And
It includes a medical institution HMD worn on the head of a medical staff of a medical institution, communicating with the medical institution server, and displaying a VR screen for a remote consultation service,
The content providing server checks the moving position of the HMD based on the location information transmitted from the beacon, and provides a predetermined content to the HMD according to the location of the HMD,
The content providing server provides AR virtual companion content in which an AR-based virtual companion character appears, which is predetermined according to the moving position of the HMD,
The content providing server provides VR virtual companion content along with a VR-based virtual companion character according to a user's selection, while providing AR virtual companion content,
The content providing server provides psychological counseling content including VR-based psychological tests, group psychological counseling, meditation, and color therapy to the HMD,
The content providing server provides information on a mental medical institution existing within a predetermined distance based on a current location to the HMD when the test result score in the psychological examination of the psychological counseling content exceeds a predetermined risk value,
When there is a request for consultation from the user, the content providing server informs the server of the medical institution of the request for consultation, and allows a remote consultation service based on VR to be provided through the HMD,
When providing a remote counseling service, the medical institution server analyzes the data collected through psychological counseling content and provides it to the HMD of the medical institution,
The content providing server provides the AR virtual companion content in a see-through mode, and when the VR virtual companion content is selected, the content providing server switches from the see-through mode to an immersive display mode that displays a VR image on the full screen,
The content providing server calculates the intimacy reflecting the content usage time and feedback information from the user, and makes the dialogue of the virtual companion character differently output when providing AR virtual companion content according to the calculated intimacy,
The content providing server increases the intimacy as the content usage time increases, and increases the intimacy as the number of content execution increases,
The content providing server is a mental health and psychological counseling content providing system, characterized in that differently output the greeting of the virtual companion character according to a time zone accessed when AR virtual companion content is provided.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190003200A 2019-01-10 2019-01-10 System for servicing contents of mind care based on virtual reality and augmented reality KR102241829B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190003200A KR102241829B1 (en) 2019-01-10 2019-01-10 System for servicing contents of mind care based on virtual reality and augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003200A KR102241829B1 (en) 2019-01-10 2019-01-10 System for servicing contents of mind care based on virtual reality and augmented reality

Publications (2)

Publication Number Publication Date
KR20200086873A KR20200086873A (en) 2020-07-20
KR102241829B1 true KR102241829B1 (en) 2021-04-19

Family

ID=71832126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003200A KR102241829B1 (en) 2019-01-10 2019-01-10 System for servicing contents of mind care based on virtual reality and augmented reality

Country Status (1)

Country Link
KR (1) KR102241829B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102532908B1 (en) * 2021-03-11 2023-05-15 정선경 Device, method and program for providing psychological counseling using deep learning and virtual reality
KR102426745B1 (en) * 2022-01-27 2022-07-29 주식회사 데이터툴스 Devices, systems, methods and programs for providing elderly health care services

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916146B1 (en) 2017-07-19 2019-01-30 제이에스씨(주) Method and system for providing book reading experience service based on augmented reality and virtual reality

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130178A1 (en) * 2007-04-23 2008-10-30 Jae Chern Yoo Remote medical-diagnosis system and method
IL296028A (en) * 2015-03-05 2022-10-01 Magic Leap Inc Systems and methods for augmented reality
KR101797867B1 (en) 2016-07-12 2017-11-15 동서대학교산학협력단 suicide prevention educational content providing method using a VR device
KR101928415B1 (en) * 2016-12-09 2018-12-12 주식회사 옴니씨앤에스 Method, system and non-transitory computer-readable recording medium for managing mental health using virtual reality
KR101945452B1 (en) * 2017-02-24 2019-02-08 (주)에프앤아이 Furniture for examinating and treating mental state of user
KR20180108528A (en) * 2018-09-19 2018-10-04 동아대학교 산학협력단 Fence-Mending System using Human Computer Interaction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916146B1 (en) 2017-07-19 2019-01-30 제이에스씨(주) Method and system for providing book reading experience service based on augmented reality and virtual reality

Also Published As

Publication number Publication date
KR20200086873A (en) 2020-07-20

Similar Documents

Publication Publication Date Title
JP7409692B2 (en) Systems, methods, and media for displaying interactive augmented reality displays
US11269426B2 (en) Systems, methods, and apparatus for enhanced presentation remotes
US11856146B2 (en) Systems, methods, and apparatus for virtual meetings
US11606220B2 (en) Systems, methods, and apparatus for meeting management
US11366531B2 (en) Systems, methods, and apparatus for enhanced peripherals
CN116194869A (en) Artificial reality cooperative work environment
US20230139337A1 (en) Controlling duty cycle in wearable extended reality appliances
WO2019168766A1 (en) Smart mirror for location-based augmented reality
CN104737209A (en) Information processing device, system, information processing method and program
KR102241829B1 (en) System for servicing contents of mind care based on virtual reality and augmented reality
JP7036327B2 (en) Rehabilitation system and image processing equipment for higher brain dysfunction
US20230018262A1 (en) Computer programs, methods, and server devices
US20230254449A1 (en) Information processing system, information processing method, information processing program
Wang et al. Realitylens: A user interface for blending customized physical world view into virtual reality
KR102346681B1 (en) System for health care service for realistic experience based on virtual reality and augmented reality
US20230086248A1 (en) Visual navigation elements for artificial reality environments
CN110494840A (en) Electronic equipment and screen picture display methods for electronic equipment
JP7001796B1 (en) Information processing program, information processing method and information processing system
Shanmugam et al. Research opportunities on virtual reality and augmented reality: a survey
KR20200019486A (en) Electronic apparatus, contorl method thereof and electronic system
JP7029717B1 (en) Rehabilitation system and image processing equipment for higher brain dysfunction
US20230410979A1 (en) Location-based multi-user augmented reality for wellness
Olaniyan et al. Did you say buttonless? Exploring alternative modes of sensory engagement for augmented reality storytelling experiences
Li et al. SeatmateVR: Proxemic Cues for Close Bystander-Awareness in Virtual Reality
JP2022065112A (en) Rehabilitation system for higher-order brain dysfunction and image processing device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant