KR102222335B1

KR102222335B1 - 사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치

Info

Publication number: KR102222335B1
Application number: KR1020200165360A
Authority: KR
Inventors: 김성연
Original assignee: (주)엔브레인
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2021-03-04

Abstract

본 발명의 일 양상인 사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치는, 사용자의 뇌와 관련된 신호를 수집하는 뇌 신호 측정부; 및 상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부; 를 포함하고, 상기 뇌 신호 측정부는, 상기 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 뇌 신호 획득부; 상기 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 뇌 신호 처리부; 및 상기 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 뇌 신호 분석부;를 포함하고, 상기 뇌 신호 측정부의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행되며, 상기 진단부는, 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하고, 상기 사용자와 관련된 신체 정보를 수집하는 사용자 데이터 수집부;를 더 포함하며, 상기 사용자 데이터 수집부는, 상기 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부;를 더 포함하고, 상기 진단부는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

Description

사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치 {AI(Artificial Intelligence) BASED DEVICE THAT PROVIDES BRAIN INFORMATION BASED ON INFORMATION COLLECTED WHILE THE USER IS IN MOTION}

본 발명은 사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치에 관한 것으로, 더욱 상세하게는 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있는 인공지능 기반 뇌 정보 제공 장치에 관한 것이다.

뇌는 우리의 행동과 환경에 따라 회로를 새롭게 바꾸기도 하고, 새로운 기능을 만들어 내거나 세포를 만들어 성장하기도 한다. 그리고 우리가 어떤 생각을 하는가에 따라 뇌 영역의 기능이 바뀌기도 한다.

뇌 영역 중에서 학습과 기억력을 담당하는 히포캠퍼스(hippocampus)는 새로운 신경세포(neuron)를 생산(neurogenesis)하는 역할을 하며, 가장 신경 발생이 활발하게 일어나는 영역이다. 히포캠퍼스 다음으로, 신경세포 생산과 신경 발생이 활발한 부위는 영역은 후각 관련 영역으로서, 새로운 냄새를 맡으면 뇌는 냄새를 감별하는 새로운 뇌세포를 만들어 낸다.

그러나 뇌 세포를 포함한 모든 신경섬유소는 장기간 생존하는 것이 아니라 시간이 지나면서 소멸한다. 세포의 소멸은 노화 또는 퇴화를 의미하므로, 소멸되는 것보다 세포의 생산 및 신경 발달이 활발해야 한다. 따라서, 신경섬유소, 특히 뇌 세포를 활발하게 하기 위해서는 신경 발생의 속도 그리고 신경세포의 생존 기간에 영향을 미치는 요인들을 찾아내는 것이 매우 중요하다.

뇌 세포의 생산, 신경 발생, 신경 발생의 속도 및 생존 기간 등을 활발하게 하는 것을 활성화라고 할 때, 기존에는 뇌를 활성화하기 위한 방법으로 운동이나 음식, 자극제, 게임, 음악, 명상 등이 활용하였다. 그러나 최근 신경과학자들에 의해 상기 요인들이 발견되었고, 발견된 요인들을 적용해서 뇌를 활성화하여 뇌 기능을 향상시키는 방법들이 개발되고 있다.

한편, 뇌기능을 검사하거나 진단하는 경우에는, 컴퓨터 단층 촬영(Computer Tomography, CT), 자기 공명 영상(Magnetic Resonace Imaging, MRI), 양전자 방출 단층 촬영(Proton Emission Tomography, PET), 뇌전도(electroencephalograph, EEG), 뇌자도(magnetoencephalography, MEG), 기능적 자기 공명 영상(Fuctional Magnetic Resonace Imaging, FMRI) 등 다양한 방식을 이용하고 있다.

1. 대한민국 특허 등록번호 제10-1754291호 (2017년 7월 6일 공고) 2. 대한민국 특허 공개번호 제10-2016-0058812호 (2016년 5월 25일 공개) 3. 대한민국 특허 등록번호 10-1768393호 (2017년 8월 17일 공고) 4. 대한민국 특허 등록번호 10-1295187호 (2013년 8월 9일 공고)

본 발명은 전술한 종래의 문제점을 해소하고자 사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치를 제안하고자 한다.

구체적으로 본 발명은, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있는 인공지능 기반 뇌 정보 제공 장치를 제공하고자 한다.

또한, 본 발명은, 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 뇌 신호 획득부, 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 뇌 신호 처리부 및 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 뇌 신호 분석부를 포함하는 뇌 신호 측정부와 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부를 포함하는 시스템을 제안하고자 한다.

또한, 본 발명은, 뇌 신호 측정부의 신호 수집 동작을 위해, 사용자의 뇌를 자극하기 위한 뇌 신호 자극부를 포함하는 시스템을 제공하고자 한다.

또한, 본 발명은 사용자의 청각 정보를 수집하는 청각 정보 수집부, 사용자의 걸음걸이 정보를 수집하는 걸음걸이 정보 수집부, 사용자의 스트레스 정보를 수집하는 스트레스 정보 수집부, 사용자의 심전도 정보를 수집하는 심전도 정보 수집부, 사용자의 수면 정보를 수집하는 수면 정보 수집부, 사용자의 집중 정보를 수집하는 집중 정보 수집부, 사용자의 아이 트래킹(Eye tracking)을 기초로 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부, 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부 등을 추가적으로 활용하여 사용자의 뇌 상태를 보다 정밀하게 판단하는 시스템을 제공하고자 한다.

또한, 본 발명은 사용자와 관련된 의료 영상을 수집하는 영상 수집부를 추가적으로 이용하여, 뇌 활성화 영역, 사용자와 관련된 신체 정보 및 사용자와 관련된 의료 영상을 함께 이용하여 사용자의 뇌 상태를 보다 정밀하게 판단하는 인공지능 기반 뇌 정보 제공 장치를 제공하고자 한다.

또한, 본 발명은 사용자의 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함하는 뇌 질환을 판단할 수 있는 진단부와 진단부가 판단한 상기 사용자의 뇌 상태에 대응하여, 뇌 상태 개선을 위한 정보를 제공하는 관리부를 포함하는 시스템을 제안하고자 한다.

또한, 본 발명에 따르면, 미리 설정된 기준을 적용하여, 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 사용자의 뇌 상태 개선을 위해, 사용자의 뇌를 자극하기 위한 뇌 신호 자극부를 더 활용하는 시스템을 제공하고자 한다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 바와 같이, 본 발명에 따른 사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치는, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있다.

또한, 본 발명은, 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 뇌 신호 획득부, 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 뇌 신호 처리부 및 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 뇌 신호 분석부를 포함하는 뇌 신호 측정부와 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부를 포함하는 시스템을 제공할 수 있다.

또한, 본 발명은, 뇌 신호 측정부의 신호 수집 동작을 위해, 사용자의 뇌를 자극하기 위한 뇌 신호 자극부를 포함하는 시스템을 제공할 수 있다.

또한, 본 발명은 사용자의 청각 정보를 수집하는 청각 정보 수집부, 사용자의 걸음걸이 정보를 수집하는 걸음걸이 정보 수집부, 사용자의 스트레스 정보를 수집하는 스트레스 정보 수집부, 사용자의 심전도 정보를 수집하는 심전도 정보 수집부, 사용자의 수면 정보를 수집하는 수면 정보 수집부, 사용자의 집중 정보를 수집하는 집중 정보 수집부, 사용자의 아이 트래킹(Eye tracking)을 기초로 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부, 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부 등을 추가적으로 활용하여 사용자의 뇌 상태를 보다 정밀하게 판단하는 시스템을 제공할 수 있다.

또한, 본 발명은 사용자와 관련된 의료 영상을 수집하는 영상 수집부를 추가적으로 이용하여, 뇌 활성화 영역, 사용자와 관련된 신체 정보 및 사용자와 관련된 의료 영상을 함께 이용하여 사용자의 뇌 상태를 보다 정밀하게 판단하는 인공지능 기반 뇌 정보 제공 장치를 제공할 수 있다.

또한, 본 발명은 사용자의 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함하는 뇌 질환을 판단할 수 있는 진단부와 진단부가 판단한 상기 사용자의 뇌 상태에 대응하여, 뇌 상태 개선을 위한 정보를 제공하는 관리부를 포함하는 시스템을 제공할 수 있다.

또한, 본 발명에 따르면, 미리 설정된 기준을 적용하여, 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 사용자의 뇌 상태 개선을 위해, 사용자의 뇌를 자극하기 위한 뇌 신호 자극부를 더 활용하는 시스템을 제공될 수 있다.

본 발명은 퇴행성 뇌질환 메커니즘 연구 결과로 활용 가능한데, 뇌영상 및 인지 능력 측정실험 설계를 통해, 비침습 진단 및 치료 모니터링 시스템 개발 및 활용이 가능하고, 뇌 구조 영상 및 뇌 기능 영상 실험을 통해, 뇌영상 데이터베이스 구축 기반 마련 및 공유가 가능하며, 딥러닝 분석에 기반한 치료 메커니즘 규명을 통해 최적의 치료 기법 도출 및 제안이 가능해진다.

또한, 본 발명은 퇴행성 뇌질환 조기진단 플랫폼으로 활용 가능한데, 망막 영상, 안과 질환 및 eye-tracking 등을 통해 비침습법 치매 진단 플랫폼 개발을 통해 조기 진단에 활용될 수 있고, 시간과 공간 제약 없이 실시간 진단을 통한 삶의 질 개선이 가능하며, 다른 뇌질환에 대한 새로운 분자 표적도 도출 할 수 있으며 해당 질환의 작용 기전 연구 및 조기 진단용으로 확장이 가능하다.

또한, 본 발명은, 퇴행성 뇌질환 광 치료·진단 통합 맞춤형 의료기기로 활용 가능한데, 퇴행성 뇌질환용 치료 플랫폼 상용화를 위한 시제품 구현이 가능하고, 연구결과를 토대로 업체와 협업하여 의료기기 제품 상용화가 가능하며, ‘치매국가 책임제’의 지역 치매센터와의 연계를 통해 치료 의료기기의 활용 극대화를 도모할 수 있다.

나아가 본 발명에 따르면, AI 학습용 데이터 구축 분야 별 표준 가이드라인을 마련하고 단계별 품질 검증을 통해 고품질의 AI 데이터 셋 확보가 가능하고, AI 기술개발에 필수적인 기반데이터를 제공하고 민간에서 AI 기술 발전에 따라 자생적으로 데이터를 확장, 개방하는 선순환 생태계를 조성할 수 있다.

또한, 본 발명에 따르면, 퇴행성 뇌질환과 난청 치료의 관계를 규명함으로 뇌과학 분야를 선도할 수 있고, 뇌영상 데이터 분석 딥러닝 기법 연구 통한, 첨단 의료 영상 분석 분야 경쟁력을 확보할 수 있다.

또한, 본 발명에 따르면, 비침습 형태 효과적인 퇴행성 뇌질환 조기 진단 방법의 새롭고 독창적인 기술 확보가 가능하고, 뇌영상 및 인지능력 실험을 기반으로 한, 비침습 뇌질환 진단 및 치료 경과 모니터링 시스템 개발이 가능하다.

또한, 본 발명에 따르면, 치매 질병 관련 사망률 감소, 치료율 증가, 치료비용 감소 효과를 통해 관련 사회문제 해결에 기여하고, 노인들의 사회참여 활동 증가로 인한 생산성 향상에 기여할 수 있다.

또한, 본 발명에 따르면, 저출산 시대에 영유아 및 아동의 뇌전증·뇌졸중·뇌종양·발달장애 등의 뇌질환 증가로 뇌질환을 가지고 있거나 뇌질환 증상이 의심될 경우 예방 및 진단을 통해 뇌 건강 상태를 확인할 수 있게 된다.

또한, 본 발명에 따르면, 뇌 신호 정로를 측정함에 있어, 웨어러블의 형태 및 아동친화적 디자인 제품이 적용됨으로써, 사용대상의 경험가치가 상승하고, 수면 및 마취제를 사용하지 않아 건강한 뇌발달을 도울 수 있는 효과가 있다.

또한, 본 발명에 따르면, 비대면 학습 및 감정 노동 분야 지원을 위해 멀티모달 감성 데이터 네트워크 구축과 N차원의 감성 매핑 공간을 활용한 인간 중심의 인공지능 서비스인 감성교감 AI 서비스를 제공할 수 있다.

구체적으로, 본 발명에 따르면, 사용자의 사회적 감성을 인식하고, 감성 데이터 네트워크 구축 및 개인 감성 AI 서비스를 제공하며, 이를 비대면 학습 및 산업현장 지원을 위해 활용할 수 있다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 블록 구성도를 도시한 것이다.
도 2은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 측정부의 블록 구성도를 도시한 것이다.
도 3은 본 발명과 관련하여, 뇌 신호 측정부의 동작을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명과 관련하여, 뇌 신호 측정부의 형태의 일례를 도시한 것이다.
도 5a 및 도 5b는 본 발명에 적용되는 기능적 근적외선 분광분석법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명과 관련하여, 뇌 신호 측정부의 측정 동작을 설명하는 순서도이다.
도 7은 본 발명과 관련하여, 뇌 신호 측정부의 전체 시스템의 일례를 도시한 것이다.
도 8은 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호의 일례를 도시한 것이다.
도 9는 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호를 뇌 관련 정보로 시각화하여 표시하는 일례를 도시한 것이다.
도 10a 내지 도 10c는 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호, 시각화된 정보 및 처리된 정보의 일례를 도시한 것이다.
도 11a 내지 도 11c는 본 발명과 관련하여, 인공지능 학습용 데이터 운영관리를 위한 저작도구의 일례를 도시한 것이다.
도 12는 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 자극부의 블록 구성도를 도시한 것이다.
도 13은 본 발명과 관련하여, 뇌 신호 자극부의 뇌 활성화 장치의 블록 구성도를 도시한 것이다.
도 14는 본 발명과 관련하여, 뇌 신호 자극부를 공간으로 구축한 일례를 도시한 것이다.
도 15는 본 발명과 관련하여, 뇌 신호 자극부의 뇌 활성화 방법을 설명하는 순서도의 일례를 도시한 것이다.
도 16a 및 도 16b는 본 발명과 관련하여, 사용자 데이터 수집부 및 영상 획득부의 블록 구성도를 도시한 것이다.
도 17a 내지 도 17d는 본 발명과 관련하여, 난청 및 치매의 연관성을 설명하기 위한 도면이다.
도 18은 본 발명과 관련하여, 진전된 알츠하이머병의 뇌 용적 손실을 설명하는 도면이다.
도 19는 본 발명과 관련하여, 청각 장애로 인한 인지기능 손상과 치매 간의 연관성을 설명하는 도면이다.
도 20은 본 발명과 관련하여, 청력손실(이명)과 알츠하이머병(치매) 상관관계를 설명하기 위한 도면이다.
도 21은 본 발명과 관련하여, 청각과 인지장애 상관관계를 설명하는 도면이다.
도 22는 본 발명과 관련하여, 순음청력 검사에 따른 과정을 설명하는 도면이다.
도 23은 본 발명과 관련하여, 순음청력 검사에 활성화된 뇌 신호 구조를 적용한 일례를 설명한 도면이다.
도 24는 본 발명과 관련하여, 액티브 브레인 의료 생체 AI 데이터 모델/알고리즘의 일례를 도시한 것이다.
도 25는 본 발명과 관련하여, Inceptions V3의 구조의 일례를 도시한 것이다.
도 26은 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 SW 개념도의 일례를 도시한 것이다.
도 27은 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 전처리의 일례를 도시한 것이다.
도 28은 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 진단의 일례를 도시한 것이다.
도 29는 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 일례를 도시한 것이다.
도 30은 본 발명과 관련하여, 생체데이터 수집을 위한 요인 탐색 및 구조화의 일례를 도시한 것이다.
도 31a 및 도 31b는 본 발명과 관련하여, 수집된 데이터의 연계방안 예시와 감성 매핑을 위한 design 일례를 도시한 것이다.
도 32는 본 발명과 관련하여, 아동의 뇌 발달 측정 결과에 따른 6단계로 구분된 훈련 프로그램의 일례를 도시한 것이다.
도 33a 및 도 33b는 본 발명과 관련하여, 훈련 전(before) 프로그램 결과 예시와 훈련 후(after) 프로그램 결과 예시를 도시한 것이다.
도 34는 본 발명과 관련하여, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있는 방법을 설명하는 순서도이다.
도 35는 본 발명과 관련하여, 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 시간에 따라 표시하고, 이를 통해 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 36은 본 발명과 관련하여, 뇌 신호 측정부의 신호 수집 동작을 위해, 사용자의 뇌를 자극하는 방법을 설명하는 순서도이다.
도 37은 본 발명과 관련하여, 사용자와 관련된 신체 정보를 수집하고 이를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 38은 본 발명과 관련하여, 사용자의 청력 손상 정도를 판단하고, 이를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 39는 본 발명과 관련하여, 사용자의 걸음걸이 정보를 수집하는 걸음걸이 정보 수집부, 사용자의 스트레스 정보를 수집하는 스트레스 정보 수집부, 사용자의 심전도 정보를 수집하는 심전도 정보 수집부, 사용자의 수면 정보를 수집하는 수면 정보 수집부, 사용자의 집중 정보를 수집하는 집중 정보 수집부를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 40은 본 발명과 관련하여, 아이 트래킹(Eye tracking)을 기초로 한 비접촉식 감정 변화 수집부를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 41은 본 발명과 관련하여, 음성 변화를 기초로 한 비접촉식 감정 변화 수집부를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 42는 본 발명과 관련하여, 사용자와 관련된 의료 영상을 추가적으로 수집 및 활용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.
도 43은 본 발명과 관련하여, 사용자의 뇌 상태에 대응하여 사용자의 뇌 상태 개선을 위한 정보를 제공하는 방법을 설명하는 순서도이다.
도 44는 본 발명과 관련하여, 사용자의 뇌 상태 개선을 위해 뇌를 자극하는 방법을 설명하는 순서도이다.

퇴행성 뇌 질환

2019년 기준 우리나라의 고령인구(65세 이상)의 비율은 전체 인구의 13.2%이나, 고령인구의 급속한 증가로 2025년을 기점으로 그 비율이 20%에 달하는 초 고령화 사회로 진입할 것으로 예상된다.

향후 45년간 유소년 및 생산가능인구의 비중은 각각 3.7%p, 23.3%p씩 감소할 것으로 예측되고, 2060년에는 고령 인구의 비율이 40.1%를 차지할 것으로 예상된다.

향후 노인부양비는 지속적으로 상승하여, 2050년에는 미국의 2배 수준에 달하며, 2060년에는 일본과 함께 세계에서 제일 높은 나라가 될 것으로 예상된다.

초고령화 사회에서 예견되는 치매 인구의 급격한 증가세가 나타나는데, 치매의 유병율은 나이가 증가할수록 증가하는 추세를 보이며, 60세부터는 유병율이 4-5년마다 두 배씩 증가하여 80세 인구 1/3 이상이 치매 증상을 보이고 있다.

따라서, 치매는 앞으로 초고령화 사회로 접어들 현 시대에서 극복해야 할 중요한 당면 과제 중 하나이고, 세계 치매 유병자의 수는 스페인 인구보다 많은 4천6백으로, 20년마다 두 배씩 증가하여 2050년에는 1억3천만 명으로 급증할 것으로 예상된다.

동아시아권의 치매인구 수는 2050년까지 193% 증가할 것으로 예상되며, 국내 치매 환자 수는 2050년에 271만 명에 도달할 것으로 추정된다.

따라서 국가 치매 관리 비용의 상승 및 경제, 사회적 부담이 발생되고 있는데, 치매 환자수의 급증은 국가 치매 관리 비용의 상승을 야기하고, 2019년 기준 연간 약 1조원 (GDP의 약 0.7%)의 국가치매관리비용이 발생하고 있으며, 향후 10년마다 2배씩 증가하여 2050년에는 130조원 (GDP의 약 2.0%)을 상회할 것으로 추정된다.

이러한 치매 유발로 인한 경제적 비용은 심장병이나 암보다 각각 2배, 3배 이상으로 치매로 인한 전 세계적 사회·경제적 비용은 2015년 기준 818억 달러가 소요되었고, 2030년 2조 달러로 증가할 것으로 전망된다.

치매로 인한 국내의 사회·경제적 손실이 연간 2조원에 육박하고 있으며, 최근 4년간 2배 이상 급증하고 있다(출처: 건강보험정책연구원 조사 보고서).

세계적 인구 고령화에 따른 퇴행성 뇌 질환의 발병률 증가와 이로 인한 사회적 문제로 증대되고 있는데, 치매 등 퇴행성 뇌 질환 치료제 및 예방을 위한 연구가 활발하지만, 여전히 답보 상태이고, 현재의 치매 진단 기술은 대학병원 및 전문병원 급에서 고가의 정밀검사를 통해 진행되어 낮은 심리적, 지리적, 경제적 접근성을 보이는 문제가 있다.

현재 치매환자의 검진률 45%에 불과하고(4대암 유병자 90% 이상), 치매 환자의 비침습 치매 진단법은 다양한 분야에서 제안이 되었으나, 실시간 모니터링을 통해 정보를 종합하여 진단하는 연구는 진행된 바 없다,

또한, 치매 치료제 개발 실패율은 약 9.6%이며, 많은 기대를 모은 아밀로이드 베타표적 치료제인 솔라네주맙은 최근 임상 3상 시험에서 최종 실패를 발표하는 등 답보 상태이다.

치매 치료제 개발 성공률이 1%에 미치지 못하는 이유는 치매의 발병 기전을 아직 명확히 밝혀내지 못했기 때문이다.

종래 진단 기술의 문제점

현재의 치매 진단은 뇌 이미징, 뇌파검사, 혈액검사, 뇌척수액 검사, 신경심리검사 등 여러 검사를 토대로 종합적인 판단에 의거하여 이루어진다.

비용과 관련하여, 뇌 이미징은 뇌 위축 등의 형태를 직접적으로 볼 수 있어 널리 이용되며, 자기공명촬영 (MRI), 단일광자방출촬영 (SPECT), 양자방출단층촬영(PET) 등 여러 가지 이미징기술을 이용하며, 이중 PET 이미징은 조기 진단에 도 도움이 되고 있다.

신경심리검사는 기억력, 주의집중력, 언어능력, 시공간감각, 계산능력 등을 검사하여 전반적인 인지기능 저하를 살펴보는 검사로 조기진단뿐만 아니라 병의 진행과정 모니터링 또는 치료약물의 효과를 판단하는 용도로 사용된다.

하지만, 이 검사의 가장 큰 문제는 검사의 정확도가 치매진행률과 비례하다는 점으로, 뚜렷한 증상이 없는 매우 초기단계에서는 오진률이 크다는 문제점이 있다.

또한, 뇌 척수액 검사의 경우 직접적으로 뇌의 축척된 바이오마커들을 검출할 수 있다는 장점이 있으나 뇌 척수액 채집과정이 고통스럽고 불편하다는 단점이 있다.

아동의 뇌 발달과 관련된 종래기술의 문제점

2019년 현재 지적장애 인구는 21.3만명, 자폐성 장애는 2.9만명, ADHD 인구는 206만명으로 나타나고 있다.

지적 장애와 자폐성장애의 경우 치료를 통한 효과가 더딘 반면 ADHD 인구는 소아시기에 적절한 치료를 받게 되면 성인기로 지속되지 않기 때문에 초기에 진단과 치료를 필요로 한다.

기존의 MRI, fMRI, CT 등으로 아동의 뇌상태를 측정하기 위해서는 아동의 발달적 특성과 달리 움직임이 적어야 하며, 영유아의 경우에는 수면제 및 마취제 투여가 필수이다.

이때, 2살 미만 영유아가 여러 번 마취제에 노출되었을 때 영구적 학습장애 발생 위험성이 2배 이상 증가한다.

또한, 뇌발달 등 각종 신약을 만들기 위해서는 많은 시간 투자를 해야 할 뿐만 아니라 실시간으로 일정 기간의 바이오 데이터 수집이 필요하다.

뇌 발달의 경우 다자간 상호작용을 통해 뇌의 발달을 확인하는 방법도 있으나 기존 제품은 다자간 뇌상태 측정을 위한 하이퍼스캐닝이 어려워 뇌발달 측정 방법의 다양성이 요구되고, 이를 해결하기 위한 제품 개발 및 이동형 뇌상태 측정기기 개발 요구가 확대되고 있는 실정이다.

본 발명의 목적

따라서 본 명세서에서는, 인구고령화에 따라 급증하는 퇴행성 뇌질환 질병 및 귀질환의 조기 진단 및 치유 기능의 기술 개발을 위한 딥러닝 학습용 데이터셋 구축을 통해 뇌신경 질환의 사회문제 해결에 기여하고자 한다.

즉, 상기 문제점들을 해소하기 위해, Active MRI 치매 뇌활동 평가 및 조기 진단 딥러닝 기술의 필요하다.

임상적인 증상이 관찰되기 훨씬 전부터 뇌의 구조 및 기능의 감퇴가 발생하므로 뇌 기능 측정을 통한 예측이나 조기 진단이 치매 발병이나 예후에 중요하다.

AI가 스스로 인식, 이해할 수 있으려면 AI SW가 사물간 연관성을 이해할 수 있는 형태로 가공된 대규모 AI 학습용 데이터 확보가 중요하고, 기계학습 기반의 AI 성능은 다양한 환경에서 수집된 방대한 데이터의 활용에 좌우되며 앞으로는 데이터와 AI간 시너지가 중요하다.

다른 본 발명의 목적으로서, 본 명세서에서는, 아동의 “실시간 뇌 측정을 위한 다자간 무선 뇌신호 측정기기” 및 “뇌발달 검사 서비스”를 제공하고자 한다.

본 발명의 기술을 통해, 아동의 뇌발달 상태를 확인하고 건강하게 성장할 수 있도록 1) ADHD 등의 뇌질환을 예방 및 진단하며 2) 일상생활 및 학습에서의 집중력을 기르는 데 있어 경험 가치를 제공하고자 한다.

또한, 본 명세서에서는, 뇌 상태 측정 결과를 일정기간 동안 수집 가능할 수 있는 디바이스를 제안하고, 수집된 데이터를 기반으로 뇌질환 등 질병의 위험도를 예측하고 일상생활 및 학습에서 적용가능한 집중력 등의 뇌발달 프로그램을 제공하는 솔루션을 제공하고자 한다.

또 다른 본 발명의 목적으로서, 본 명세서에서는, 비대면 학습 및 감정 노동 분야 지원을 위해 멀티모달 감성 데이터 네트워크 구축과 N차원의 감성 매핑 공간을 활용한 감성 인지/교감용 인공지능(Human-centered AI) 서비스를 제공할 수 있다.

감성인식기술로는, ICT를 활용한 이벤트 스트림(사용자 행동) 및 비접촉 생체 반응*을 통한 사회감성 인지와 감성교감의 지능 수준을 정의하고, N차원의 감성 매핑 공간에서 기본감성과 사회감성을 인식할 수 있는 기술이 적용된다.

또한, 비접촉 생체 반응으로는, 일상생활에서 가용한 센서 카메라, AI스피커 등을 활용하여 오감 기반의 생체신호 측정하여 활용될 수 있다.

또한, 사용자의 행동 이벤트와 비접촉 생체 반응을 유니모달 형태의 데이터 네트워크에서 사회감성과 매핑이 가능한 멀티모달 데이터 네트워크로 단계적으로 확장하고 인공지능을 통해 성장과 진화가 가능한 데이터 네트워크를 제안 및 구축할 수 있다.

또한, 감성 AI 서비스로서, 멀티모달 감성 데이터 네트워크를 활용해서 학습자와 감정 노동자의 예측 불가능한 행위나 감성을 인지적 수준에서 직관적 수준으로 극복하는 새로운 차원의 인간 중심적인 인공지능 서비스를 제공하고자 한다.

이러한 본 발명의 목적들을 달성하기 위해, 본 발명은 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있는 인공지능 기반 뇌 정보 제공 장치를 제공하고자 한다.

이하 본 발명의 바람직한 실시 예에 따른 인공지능 기반 뇌 정보 제공 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.

이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.

인공지능 기반 뇌 정보 제공 장치

도 1은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 블록 구성도를 도시한 것이다.

도 1을 참조하면, 본 발명에 따른 인공지능 기반 뇌 정보 제공 장치(1)는, 뇌 신호 측정부(10), 뇌 신호 자극부(20), 사용자 데이터 수집부(30), 영상 획득부(40), 진단부(50) 및 관리부(60)를 포함할 수 있다.

먼저, 뇌 신호 측정부(10)는, 사용자의 뇌와 관련된 신호를 수집하는 기능을 제공한다.

구체적으로, 본 발명에 따른 뇌 신호 측정부(10)는, 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하며, 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하고, 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 기능을 제공한다.

본 발명의 큰 특징으로서, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행될 수 있다.

다음으로, 뇌 신호 자극부(20)는, 뇌 신호 측정부(10)의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하는 기능을 제공한다.

나아가 뇌 신호 자극부(20)는, 관리부(60)의 제어에 따라, 사용자의 뇌 상태 개선을 위해, 사용자의 뇌를 자극하는 기능을 제공할 수도 있다.

또한, 사용자 데이터 수집부(30)는 사용자와 관련된 신체 정보를 수집하는 기능을 제공한다.

사용자와 관련된 신체 정보는, 사용자의 청각 정보, 걸음걸이 정보, 스트레스 정보, 심전도 정보, 수면 정보, 집중 정보, 감정 변화 정보 등을 포함할 수 있다.

또한, 영상 획득부(40)는, 사용자와 관련된 의료 영상을 수집하는 기능을 제공한다.

본 발명에 따른 영상 획득부(40)는, 사용자와 관련된 MRI 영상을 수집하는 MRI 영상 획득부, 상기 사용자와 관련된 CT 영상을 수집하는 CT 영상 획득부, 상기 사용자와 관련된 fMRI 영상을 수집하는 fMRI 영상 획득부 등이 이용될 수 있다.

또한, 진단부(50)는 뇌 신호 측정부(10)가 수집한 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 기능을 제공한다.

진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 대상이 되는 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.

마지막으로, 관리부(60)는 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 기능을 제공한다.

예를 들어, 미리 설정된 기준을 적용하여, 상기 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 관리부(60)의 제어에 따라, 상기 사용자의 뇌 상태 개선을 위해, 상기 사용자의 뇌를 자극하기 위한 뇌 신호 자극부(20)의 동작이 트리거 될 수 있다.

이하에서는, 본 발명의 각각의 구성요소의 구체적 구조 및 기능에 대해 도면을 참조하여 설명한다.

뇌 신호 측정부

도 2은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 측정부의 블록 구성도를 도시한 것이다.

도 2를 참조하면, 뇌 신호 측정부(10)는, 뇌 신호 획득부(11), 뇌 신호 처리부(12), 뇌 신호 분석부(13), 통신부(14) 및 디스플레이부(15)를 포함할 수 있다.

먼저, 뇌 신호 획득부(11)는, 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 기능을 제공한다.

여기서 뇌 신호 측정부(11)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행되는 특징을 갖는다.

다음으로, 뇌 신호 처리부(12)는, 상기 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 기능을 제공한다.

뇌 신호 처리부(12)는, 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 산화 헤모글로빈 농도(Oxy Hb)와 환원 헤모글로빈 농도(Deoxy Hb)를 추출함으로써, 상기 헤모글로빈 산소화 정도를 판단한다.

또한, 뇌 신호 분석부(13)는, 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 기능을 제공한다.

여기서, 적어도 하나의 뇌 활성화 영역에서는, 뇌 혈류 내의 산화 헤모글로빈에 의해 수송된 산소가 소비됨으로써, 산화 헤모글로빈 농도(Oxy Hb)가 감소하고, 상기 산화 헤모글로빈 농도(Oxy Hb)의 감소에 대응하여 상기 환원 헤모글로빈 농도(Deoxy Hb)가 증가되는 특성을 갖는다.

상기 산화 헤모글로빈 농도(Oxy Hb)와 상기 환원 헤모글로빈 농도(Deoxy Hb)는, 가시광 영역과 근적외광 영역에서 변화되는 광 특성을 가지고, 결국, 본 발명에 따른 뇌 신호 측정부(10)는, 상기 근적외선 조사에 의한 근적외 분광법(fNIRS: functional Near-Infrared Spectroscopy)을 통해, 상기 신호를 수집하게 된다.

한편, 뇌 신호 분석부(13)는, 사용자의 뇌 영역을 복수로 분할하고, 상기 복수로 분할된 뇌 영역 각각이, 일정 시간 단위로 상기 뇌 활성화 영역으로 변화되었는지 또는 상기 뇌 활성화 영역에서 비 활성화 영역으로 변화되었는지 여부를 판단할 수 있다.

이를 기초로, 진단부(50)는, 일정 시간 단위를 기준으로, 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

또한, 통신부(14)는, 뇌 신호 측정부(10)와 다른 구성요소(뇌 신호 자극부(20), 사용자 데이터 수집부(30), 영상 획득부(40), 진단부(50), 관리부(60) 등)들 간의 네트워크를 구축하여 데이터를 통신할 수 있도록 지원한다.

여기서 이용될 수 있는 상기 무선 통신 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

또한, 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), ZigBee 등이 이용될 수 있다.

또한, 디스플레이부(15)는, 상기 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 시간에 따라 표시하는 기능을 제공한다.

디스플레이부(15)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

도 3은 본 발명과 관련하여, 뇌 신호 측정부의 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 사용자가 움직이는 상태에서 실시간으로 다자간 뇌 상태 및 발달상황을 측정하게 된다. 즉, 특별한 제한 없이 실시간 및 무선으로 뇌 신호를 측정하고 분석할 수 있도록 다중 사용자의 뇌 신호를 동시에 측정할 수 있는 뇌 신호 측정기기가 제안된다.

한편, 도 4a 및 도 4b는 본 발명과 관련하여, 뇌 신호 측정부의 형태의 일례를 도시한 것이다.

본 발명에 따른, 뇌 신호 측정부(10)는, 도 4a의 (a)에 도시된 것과 같이, 사용자의 헤드를 모두 덮는 풀 커버(full cover) 형태 또는 도 4a의 (b)에 도시된 것과 같이, 사용자 헤드의 전면부에 밀착되는 전면부 형태가 될 수 있다.

또한, 아동용으로 활용될 서을 고려하여 도 4b의 (a) 및 (b)에 도시된 것과 같이, 본 발명에 따른, 뇌 신호 측정부(10)는, 아동 맞춤형 디자인을 적용하고 사용자 친화적 환경을 구성하여 경험가치를 제공하기 위해 UI/UX 맞춤형 디자인이 고려될 수 있다.

본 발명에서는, 저전력 블루투스 프로토콜(BLE)을 이용한 장시간 사용이 가능한 웨어러블 뇌신호 측정 기술이 적용될 수 있고, 플렉서블 기판을 이용하여 유아의 머리 모양에 맞도록 설계된 뇌신호 측정 기기의 초경량화가 가능하다.

또한, 뇌활성화 분석을 통한 집중력, 뇌발달을 생리학적 측면에서 측정할 수 있는

뇌신호 분석 알고리즘, 채널 상태가 변하여도 데이터의 신뢰성 보장할 수 있는 데이터 전송 알고리즘 및 뇌 활성화 영역 상태 인지 알고리즘 등이 활용될 수 있다.

한편, 도 5a 및 도 5b는 본 발명에 적용되는 기능적 근적외선 분광분석법을 설명하기 위한 도면이다.

도 5a를 참조하면, 본 발명에 적용되는, 기능적 근적외선 분광분석법(functional Near-infrared spectroscopy, fNIRS) 기술에서, fNIRS란 약 650~1000nm의 파장을 가지는 근적외선 영역의 빛을 뇌에 조사하여 뇌조직을 투과한 빛을 검출하여 비침습적으로 뇌의 혈류 변화에 따른 헤모글로빈의 농도의 변화를 수술 등의 위험 없이 계측할 수 있는 영상 기술이다.

본 발명에 적용되는 fNIRS 기술은 환자가 고정된 상황이 아닌 움직일 수 있는 Live 상황에서 실시간 뇌측정을 수행하기 위한 기능적 근적외선 분광분석법을 사용한다.

기능적 근적외선 분광분석법은 약 650~1000nm의 파장을 가지는 근적외선 영역의 빛을 뇌에 조사하여 뇌조직을 투과한 빛을 검출하여 비침습적으로 뇌의 혈류 변화에 따른 헤모글로빈의 농도의 변화를 수술 등의 위험 없이 계측할 수 있는 영상 기술이다.

이러한 기능적 근적외선 분광분석법은, 기존 평가방식보다 실시간으로 결과를 보여주고, 기기구입 및 관리비용이 낮고, 측정된 결과가 사회성을 직접적으로 보여주어 신뢰도를 높일 수 있다.

도 5b는 현재의 뇌 측정 기술과 본 발명에 적용되는 기능적 근적외선 분광분석법 비교하여 정리한 것이다.

한편, 도 6a 및 도 6b는 본 발명과 관련하여, 뇌 신호 측정부의 측정 동작을 설명하는 순서도로서, 인공지능 학습용 데이터 구축을 위한 데이터 수집 절차를 함께 설명한 것이다.

도 6a를 참조하면, 비식별화된 MRI 뇌 이미지를 수집하고(S1), 활성화된 MRI 뇌 촬영술 영상 자료와 판독 임상 자료를 수집하며(S2), 뇌 영상 판독 전문의의 피드백을 받아(S4), 이를 종합하고(S3), 영상 전처리(S5)를 통해, 레이블된 뇌 촬영영상과 엑셀 파일 등으로 임상 정보를 구조화 시킬 수 있다(S6).

즉, 병원에서 운영하고 있는 의료데이터베이스에서 MRI 진단을 위해 촬영한 비활성화된 MRI 뇌를 촬영한 촬영 영상 및 임상 정보 등을 수집하고, 이를 통해 영상판독문 및 병리판독문을 활용하여 정확한 난청, 이명 및 더 나아가 치매의 기준을 정의하는 것이 가능하다.

또한, MRI 촬영영상의 진단 결과는 난청, 이명, 정상의 PSAP 결과 데이터와 MRI 뇌 이미지 영상으로 구분하고, 난청, 이명, 정상의 경우 판독 당시 오진이 있을 수 있으므로 특수한 환경에서 데이터 구축을 실시할 수 있다.

후술하는 난청 세부 기준으로서, PSAP 검사 결과 난청으로 확진된 환자 뇌 촬영 영상 이미지가 이용될 수 있고, 이명 세부 기준으로서, PSAP 검사 결과 이명으로 확진된 환자 뇌 촬영 영상 이미지가 이용될 수 있으며, 정상 세부 기준으로서, PSAP 검사 결과 정상으로 확진 된 환자 뇌 촬영 영상 이미지가 이용될 수 있다.

또한, 도 6b를 참조하면, 자료수집, 측정을 포함한 protocol 과정의 일례가 도시된다.

도 6b를 참조하면, 백그라운드 서비스를 등록하고(S7), 기관방문 전 설문지 작성을 수행하며(S8), 뇌 측정 당일 기관을 방문하고(S9), 뇌 측정 전 기분, 활력 등 인터뷰를 실시하며(S10), 뇌 측정을 위한 태스크를 선택하고(S11), 태스크를 수행하며(S12), 충분한 자료가 수집되었는지 여부를 판단(S13)에 측정을 종료(S14)하거나 S11 단계를 다시 수행하게 된다.

또한, 본 발명에 적용되는 영상 데이터는 활성화 뇌MRI 영상 촬영 영상이미지 데이터로 정의될 수 있다.

또한, 영상 데이터 비식별화는, 비식별화 방법 및 비식별화 tag 구조(RAW data 양식)으로 처리될 수 있다.

또한, 본 발명에 적용되는 메타데이터는, 영상정보에 대한 환자의 메타정보를 수집하여, 난청, 이명 환자에 한해서는 추가적인 정보를 통해 품질검수에 활용함으로써 신뢰성을 확보하는 것으로 정의될 수 있다.

한편, 도 7은 본 발명과 관련하여, 뇌 신호 측정부의 전체 시스템의 일례를 도시한 것이다.

도 7의 (a)는 데이터 수집 장비의 일례를 도시한 것이고, (b)는 기능적 근적외선 분광분석 장비를 사용자가 착용한 보습의 일례를 도시한 것이며, (c)는 기능적 근적외선 분광기기 신호의 시계열 데이터의 일례를 도시한 것이다.

도 7의 (a) 내지 (c)를 참조하면, 뇌에 근적외선을 조사하면 대뇌 피질을 투과한 빛을 검출하여 처리하면 산화헤모글로빈과 환원 헤모글로빈의 농도를 측정하여 뇌의 활성화 영역을 수술 없이 안전한 방법으로 확인할 수 있다.

또한, 사용상 위험성이 거의 없으며, 주변의 잡음의 영향을 거의 받지 않는 장점이 있다.

또한, 편의성과 휴대성이 매우 높으며 다른 뇌 측정 영상 장비에 비해 저렴하다는 장점이 있다.

도 8은 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호의 일례를 도시한 것이다.

도 8에서는, 채널 위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균이 도시된다.

도 9는 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호를 뇌 관련 정보로 시각화하여 표시하는 일례를 도시한 것이다.

도 9에서는, 채널 위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑한 일례가 도시된다.

본 발명에서는, 기계 학습 적용을 위해, 알고리즘 편향 방지위한 데이터 구성 및 수집방법이 다음과 같이 이용될 수 있다.

샘플편향과 관련하여, 수집된 데이터가 AI 시스템이 실행될 것으로 예상되는 환경을 대표하거나 정확하게 나타내지 않을 때 발생될 수 있다.

어떤 알고리즘도 전체 데이터세트에 대해 학습할 수는 없으며 전체 데이터세트에서 대체로 신중하게 선택한 부분집합의 데이터세트를 학습한다. 따라서 샘플 편향을 줄이기 위해서는 부분집합의 데이터세트를 선택할 때, 충분히 큰 데이터세트뿐 아니라 전체 데이터세트를 대표할 수 있는 서브세트를 선택하는 것이 중요하다.

또한, 측정 편향과 관련하여, 어떤 것을 관찰 또는 측정하는데 사용된 장치에 의해 시스템적으로 값이 왜곡되는 문제가 있는 경우 발생하며 이러한 종류의 편향은 데이터를 특정 방향으로 왜곡하는 경향이 있다.

측정 편향이 있는 도구는 모델이 작동할 환경을 그대로 복제하지 못하며 학습 데이터가 실제데이터를 왜곡되어 편향된 결과를 가져오게 되고, 측정 편향은 단순히 더 많은 데이터를 수집한다고 피할 수 있는 것이 아니다.

따라서 이를 해결 하기 위해 데이터 수집시 편향된 결과를 가져오지 못하는 환경구성을 하여 데이터를 수집할 수 있다.

한편, 도 10a 내지 도 10c는 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호, 시각화된 정보 및 처리된 정보의 일례를 도시한 것이다.

도 10a는 비활성화 MRI 뇌이미지 촬영 영상을 나타낸 것으로, 사람의 조직(뼈, 근육, 내장 등)에 따라서 물과 지방의 분포비율이 다름을 MRI를 통해 수소원자의 분포 측정하여 물과 지방의 분포비율이 다른 생체조직의 영상 생성 가능하다.

그러나 도 10a와 같은 정보는, 실제 사람이 행동하거나 활동상태일 때의 현상 파악이 불가능하다는 단점이 있다.

이에 반해 도 10b는 본 발명에 따른 활성화 MRI 뇌이미지 촬영 영상의 일례를 도시한 것이다.

도 10b에서는, 채널 위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑하게 된다.

비침습적인 뇌기능 계측방법으로 근적외 분광법(fNIRS: functional Near-Infrared Spectroscopy)은 근적외광을 이용해서 뇌의 혈류변화를 비침습적으로 계측하는 방법이며, 계측원리는 근적외광을 이용한 뇌혈류의 헤모글로빈 산소화 정도의 측정에 바탕을 두고 있다.

생체에 근적외광을 조사하여 조직을 투과한 fNIRS 신호를 검출하여 처리하면 산화 헤모글로빈 농도(Oxy Hb)와 환원 헤모글로빈 농도(Deoxy Hb)를 측정할 수 있다.

뇌의 활성화 영역은 혈액 속의 Oxy Hb에 의해 수송된 산소를 소비하고, Oxy Hb는 Deoxy Hb로 변함. 이 두 가지 헤모글로빈은 가시광과 근적외광 영역에서 광 특성을 가지며, 기능적 근적외 분광법으로 측정한 이들의 농도는 뇌활동의 척도로서 사용 가능하다.

이러한 본 발명에 따른 방식은, 평상시 뛰거나 움직이는 태에서 측정이 가능하고, 검사 후 AI를 통해 짧은 시간 내로 결과를 제공받을 수 있는 장점이 있다.

또한, 약물사용 없이 측정이 가능하고, 주변소리 통제가 가능하다는 장점이 있다.

도 10c는 본 발명과 관련하여, 기능적 근적외선 분광기기 신호의 시계열 데이터 정제 결과의 일례를 도시한 것이다.

도 10c에서는, 적합한 모델을 만들기 위해 이상 탐지 대상 항목과 연관성이 높다고 판단한 변수 중에서 설명력이 가장 높은 변수들을 선정한다.

또한, 각 부분 집합에 대해 adjust R^2를 측정하여 값이 가장 큰 부분 집합 중 가장 적은 개수의 변수로 구성된 항목을 선정하게 된다.

한편, 도 11a 내지 도 11c는 본 발명과 관련하여, 인공지능 학습용 데이터 운영관리를 위한 저작도구의 일례를 도시한 것이다.

인공지능 학습용 데이터 구축을 효율적으로 하기 위해, 저작도구가 필요하다.

즉, 이미지 라벨링 앱 솔루션으로 서버에 저장된 라벨링 프로젝트의 정보와 라벨링 대상 이미지, 라벨 목록, 참조 이미지 등 자동으로 태깅, 라벨링 해주는 기능이 필요하다.

인공지능 학습용 데이터 운영관리를 위한 저작도구 방안으로서, 이미지 추가, 저장 및 생성 기능이 이용될 수 있다.

도 11a에 도시된 것과 같이, 해당 자동화툴 저작도구를 이용하여 검사하고 싶은 이미지를 추가할 수 있고, 휴대용 MRI를 활용하여 뇌나 골절부위를 추가 한후 플러스 버튼을 눌러 추가 저장 및 생성 기능을 접목할 수도 있다.

또한, 어노테이션 기능을 활용한 저작도구로서, 어노테이션 기능을 활용하여 추가 저장 및 생성한 이미지에 대해 tagging 작업과 특이점 및 메모기능을 통해 추가 정보 기입 작업을 수행할 수 있다.

도 11b 및 도 11c는 어노테이션 활용의 일례들을 도시한 것이다.

인공지능 학습용 데이터 운영관리를 위한 활용 방안으로, 활성화된 MRI 뇌 이미지에 대하여 정상과 난청, 이명 판독 시범 모델의 검증을 위하여 cross validation을 수행할 수 있다.

또한, 다양한 판독 척도를 활용하여 성능을 평가하고, 평가 척도로서 민감도, 특이도, ROC curve의 AUC를 측정하고, 이를 기준으로 github를 통해 의료인공지능 학습 데이터의 판독 시범 모델을 구축할 수 있다.

전술한 것과 같이, 뇌 신호 측정부(10)는, 사용자의 뇌와 관련된 신호를 수집하고, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행된다.

한편, 진단부(50)는, 상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하게 된다.

구체적으로, 진단부(50)는 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단할 수 있다.

여기서 진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.

나아가 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 관리부(60)가 추가적으로 활용될 수 있다.

예를 들어, 미리 설정된 기준을 적용하여, 상기 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 관리부(60)는 후술하는 뇌 신호 자극부(20)를 제어하여, 사용자의 뇌 상태 개선을 위해, 상기 사용자의 뇌를 자극하기 위한 신호가 사용자에게 제공되도록 할 수 있다.

뇌 신호 자극부

뇌 신호 자극부(20)는, 뇌 신호 측정부(10)의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하는 기능을 제공한다.

도 12는 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 자극부의 블록 구성도를 도시한 것이고, 도 13은 본 발명과 관련하여, 뇌 신호 자극부의 뇌 활성화 장치의 블록 구성도를 도시한 것이다.

뇌 신호 자극부(20)는 뇌 세포들이 소통하기 위해 연결되는 부분을 의미하는 시냅스를 집중적으로 자극하며 시작된다. 장기 기억으로 뇌 영역을 활성화시키기 위해서는 장소(place), 감정(emotion), 스토리(story)를 통해 뇌 영역을 자극해야 한다.

따라서 뇌 신호 자극부(20)는 전시, 음악, 움직임 등의 활동이 이루어지는 공간에 배치된 자연물을 기반으로 하여 다차원적인 환경적 자극을 통해 집중적으로 타겟팅된 뇌 영역의 활동을 강화하고, 뇌 영역의 기능을 선택적으로 활성화시킨다. 미국 정신과 협회에서 정의한 DSM-V(Diagnostic and Statistical Manual of Mental Disorders) 의 뇌 영역 분류 기준에 따르면 뇌 영역은 주로 주의집중력, 시공간능력, 기억력, 집행능력, 언어능력, 계산능력 및 소리 인지력 등으로 분류할 수 있다. 즉, 본 발명은

자연물, 특히 식물과 소리, 촉감, 향, 시각, 기억 등 다차원적인 환경적 자극을 통해 집중력, 공감력, 창의력, 기억력, 힐링 등 다양한 뇌 영역의 활동을 집중적으로 강화하고, 기능을 활성화한다.

본 발명의 바람직한 실시 예에 따른 뇌 활성화 시스템(10)은 도 12 및 도 13에 도시된 바와 같이, 자연물이 설치된 공간 내에서 미리 타겟팅된 뇌 영역의 활동을 집중적으로 강화하여 뇌 영역의 기능을 활성화시키도록 시스템화된 다차원적인 환경적 자극을 가하는 뇌 활성화 장치(24) 및 상기 공간에서 타겟팅된 뇌 영역에 다차원적인 환경적 자극을 가하도록 뇌 활성화 장치(24)의 구동을 제어하는 관리 서버(21)를 포함한다.

뇌 활성화 장치(24)는 도 2에 도시된 바와 같이, 미리 타겟팅된 뇌 영역의 활동을 집중적으로 강화하고 뇌 영역의 기능을 활성화시키기 위해, 공간에서 연출하고자 하는 컨셉에 대응되는 미디어 아트를 구현하는 미디어부(30), 음향을 출력하는 음향부(40), 빛을 조사하거나 조명하는 조명부(50) 및 자연물의 향기를 사용자에게 전달하는 향기 전달부(60)를 포함할 수 있다.

도 14는 본 발명과 관련하여, 뇌 신호 자극부를 공간으로 구축한 일례를 도시한 것이다.

도 14에 따른 실시예에서 공간, 예컨대 전시 공간(11)은 전시 공간(11)을 조명하는 빛을 따라 내면 세계인 본질적 자연에 귀 기울이고, 그 안에서 찾은 새로운 나의 내면 세계, 즉 자아에 집중하기 위한 상상 속 포레스트를 메인 테마로 하며, 서로 다른 컨셉을 갖는 복수의 공간을 통한 스토리와 감각을 자극하는 미디어 아트를 구현한다.

이와 같은 전시 공간(11)은 조경 설치미술과 생화 배열, 프로젝션 매핑(projection mapping), 라이트 아트(light art), 인터랙티브 콘텐츠(interactive contents) 및 조각 오브제(objet)를 통해 연출될 수 있다.

예를 들어, 도 14에 도시된 바와 같이, 전시 공간(11)은 각각의 컨셉을 갖는 제1 내지 제4 공간(12 내지 15) 및 체험 공간과 포토 터널을 구현한 제5 공간(16)을 포함해서 총 5개의 공간으로 구획될 수 있다.

제1 공간 내지 제5 공간(12 내지 16)은 다양한 색을 연출할 수 있는 조명, 오브제, 미디어 아트를 통해 교감신경을 자극하여 사용자 자신의 특별한 자아에 대해 탐색하고 싶은 사용자의 심리적 만족도를 향상시키도록 구현될 수 있다.

이를 위해, 뇌 활성화 장치(24)는 강렬한 컬러의 움직임으로 다채로운 조각작품과 미디어 오브제가 배치된 공간으로 몰입을 유도하고, 몽환적 미디어를 자연물 속에 녹여 사용자와 교감을 유도할 수 있다.

예를 들어, 제1 공간(12)의 컨셉은 'INTRO - Awaken Your Brain'이고, 제2 공간(13)의 컨셉은 'STATE - Turning Back Your Nature'이며, 제3 공간(14)의 컨셉은 'Creative - Feel Your Nature'이고, 제4 공간(15)의 컨셉은 'Healing - That's Me!'이며, 제5 공간(16)의 컨셉은 'Active - Vivid & Rejuvenation'일 수 있다.

즉, 제1 공간(12)은 해당 공간에 들어서면서 시냅스를 집중적으로 자극하여 뇌를 활성화시키는 공간이고, 제2 공간(13)은 현재 기점으로 unfamiliar한 자극을 제공하여 뇌의 상태(state of Brain)를 알아보는 공간이며, 제3 공간(14)은 scent를 통해 뇌를 자극하여 프루닝(pruning)시키는 공간이고, 제4 공간(15)은 제1 공간(12)부터 제3 공간(14)까지를 거치면서 제3자적 입장에서 자신과 마주하는 공간으로 뇌가 힐링되는 공간이며, 제5 공간(16)은 체험을 통해 뇌의 감각이 살아나는 공간이다.

미디어부(30)는 제1 내지 제5 공간(12 내지 16)의 컨셉에 대응되는 미디어 아트를 구현하는 제1 내지 제5 미디어 모듈(31 내지 35)을 포함하고, 음향부(40)는 제1 내지 제5 공간(12 내지 16)의 컨셉에 대응되는 음향을 출력하는 제1 내지 제5 음향 모듈(41 내지 45)을 포함할 수 있다.

마찬가지로, 조명부(50)는 빛을 조사하거나 조명하는 제1 내지 제5 조명 모듈(51 내지 55)을 포함하고, 향기 전달부(60)는 전시 공간(11) 내부에 배치된 자연물, 즉 나무와 꽃 등의 향기를 사용자에게 전달하는 제1 내지 제5 전달 모듈(61 내지 65)을 포함할 수 있다.

여기서, 각 미디어 모듈(31 내지 35)은 사진이나 동영상의 미디어 아트를 각 공간이나 벽면, 자연물에 투사하는 프로젝터나 디스플레이 패널 등 다양한 방식으로 디스플레이하는 장치로 마련될 수 있다.

각 음향 모듈(41 내지 45)은 음악이나 음향, 특히 자연의 백색 소음을 출력하는 스피커와 앰프 등을 포함할 수 있다.

각 조명 모듈(51 내지 55)은 레이저를 조사하는 레이저 발생기, 빛을 조사하는 LED, 네온 조명 중에서 하나 또는 둘 이상을 조합해서 구성될 수 있다.

각 전달 모듈(61 내지 65)은 각 공간에 배치된 자연물에서 발생하는 향기 또는 자연물의 향기를 모방한 향기를 각 공간 내부의 사용자에게 효과적으로 전달하도록 공기를 송풍하는 송풍기를 포함할 수 있다.

여기서, 각 모듈은 구획된 각 공간별로 적어도 하나 이상 마련될 수 있다.

한편, 도 15는 본 발명과 관련하여, 뇌 신호 자극부의 뇌 활성화 방법을 설명하는 순서도의 일례를 도시한 것이다.

도 15의 S10단계에서 뇌 활성화 장치(24)는 전시 공간(11)의 구획된 각 공간, 즉 제1 내지 제5 공간(12 내지 16)의 컨셉에 대응되는 미디어 아트와 음향, 조명, 향기를 전달한다.

사용자가 전시 공간(11)의 제1 공간(12)에 진입하면, 제1 공간(12)에 마련된 제1 미디어 모듈, 음향 모듈, 조명 모듈 및 전달 모듈(31 내지 61)은 각각 제1 공간(11)에 배치된 자연물, 즉 식물 및 오브제와 함께 제1 공간(12)의 컨셉에 대응되는 미디어 아트와 음향, 조명을 출력하고, 향기를 사용자에게 전달한다.

이에 따라, 뇌 활성화 장치(24)는 사용자의 시각, 청각, 촉각, 후각 등 다차원 감각을 통해 시냅스를 자극한다(S12).

S14단계에서 사용자가 제2 공간(13)에 진입하면, 제2 공간(13)에 마련된 제2 미디어 모듈, 음향 모듈, 조명 모듈 및 전달 모듈(32 내지 62)은 각각 제2 공간(13)에 배치된 자연물과 오브제와 함께 제2 공간(13)의 컨셉에 대응되는 미디어 아트와 음향, 조명을 출력하고, 향기를 사용자에게 전달한다.

이에 따라, 뇌 활성화 장치(24)는 전시 공간(11)과 사용자의 교감을 유도하는 뉴럴 네트워크를 구현한다.

S16단계에서 사용자가 제3 공간(14)에 진입하면, 제3 공간(14)에 마련된 제3 미디어 모듈, 음향 모듈, 조명 모듈 및 전달 모듈(33 내지 63)은 각각 제3 공간(14)에 배치된 자연물과 오브제와 함께 제3 공간(14)의 컨셉에 대응되는 미디어 아트와 음향, 조명, 향기를 사용자에게 전달한다.

이에 따라, 뇌 활성화 장치(24)는 사용자가 이동하는 동선을 안내하고, 사용자의 뇌 기능을 프루닝한다.

모듈, 음향 모듈, 조명 모듈 및 전달 모듈(34 내지 64)은 각각 제4 공간(15)에 배치된 자연물 및 오브제와 함께 제4 공간(15)의 컨셉에 대응되는 미디어 아트와 음향, 조명을 출력하고, 향기를 사용자에게 전달한다.

이에 따라, 뇌 활성화 장치(24)는 사용자가 살아 움직이듯 연출된 숲 길을 걷는 동안 뇌의 휴식을 통해 힐링을 제공한다.

S20단계에서 사용자가 제5 공간(16)에 진입하면, 제5 공간(16)에 마련된 제5 미디어 모듈, 음향 모듈, 조명 모듈 및 전달 모듈(35 내지 65)은 각각 제5 공간(16)에 배치된 자연물 및 오브제와 함께 제5 공간(16)의 컨셉에 대응되는 미디어 아트와 음향, 조명을 출력하고, 향기를 사용자에게 전달한다.

이에 따라, 뇌 활성화 장치(24)는 자연을 소재로한 다양한 마감재로 연출된 자연물과 함께, 사용자, 특히 어린이가 직접 만져보며 체험과 스토리를 갖는 미디어 아트 동화를 통해 시각, 촉각 등 오감을 자극하고, 포토 터널을 제공한다.

한편, 본 실시 예에서는 제1 내지 제5 공간의 구성을 설명하기 위해, 각 공간을 순차적으로 설명하였으나, 사용자의 관람 순서는 이에 한정되는 것은 아니다.

즉, 제1 공간을 통해 제2 공간으로 진입한 사용자는 도 3에 도시된 화살표 방향을 따라, 제3 공간뿐만 아니라, 제4 공간이나 제5 공간으로 이동할 수도 있다.

그리고 사용자는 제3 공간에서 제4 공간뿐만 아니라, 제5 공간으로 이동하거나 다시 제2 공간으로 이동할 수도 있다.

또, 사용자는 제4 공간에서 제5 공간뿐만 아니라, 다시 제2 공간이나 제3 공간으로 이동할 수도 있다.

또한, 사용자는 제5 공간에서 다시 제2 공간이나, 제3 공간 또는 제4 공간으로 이동할 수도 있다.

따라서 사용자는 각 공간을 일정한 순서에 따라 이동하는 것이 아니라, 선택적으로 이동 가능하며, 관람한 공간으로 다시 이동해서 반복 관람함으로써, 각 공간에서 활성되환 뇌 영역을 집중적으로 활성화시켜 기능을 강화할 수도 있다.

상기한 바와 같은 과정을 통해, 본 발명은 전시 공간에 배치된 자연물과 함께 다차원 자극을 통해 요구되는 부분의 뇌 기능을 활성화시킬 수 있다.

또한, 본 발명은 자연물, 특히 식물과 소리, 촉감, 향, 시각, 기억 등 다차원적인 자극을 통해 집중력, 창의력, 기억력, 공감, 힐링 등 다양한 뇌 기능을 활성화할 수 있다.

사용자 데이터 수집부, 영상 획득부, 진단부 및 관리부

사용자 데이터 수집부(30)는 사용자와 관련된 신체 정보를 수집하는 기능을 제공한다.

도 16a는 본 발명과 관련하여, 사용자 데이터 수집부의 블록 구성도를 도시한 것이다.

도 16a를 참조하면, 사용자 데이터 수집부(30)는, 사용자의 청각 정보를 수집하는 청각 정보 수집부(31)를 포함할 수 있다.

이때, 진단부(50)는, 상기 수집된 청각 정보를 기초로 상기 사용자의 청력 손상 정도를 판단하며, 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 청력 손상 정도를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

구체적으로, 사용자의 청력 손상은, 난청에 의한 것이고, 상기 진단부(50)는, 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 난청 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

다른 일예로서, 사용자의 청력 손상은, 이명에 의한 것이고, 진단부(50)는, 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 이명 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

한편, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 청력 손상이 발생된 상태에서, 상기 사용자가 움직이는 동안 수행될 수도 있다.

또한, 사용자 데이터 수집부(30)는, 사용자의 걸음걸이 정보를 수집하는 걸음걸이 정보 수집부(32), 사용자의 스트레스 정보를 수집하는 스트레스 정보 수집부(33), 사용자의 심전도 정보를 수집하는 심전도 정보 수집부(34), 사용자의 수면 정보를 수집하는 수면 정보 수집부(35) 및 사용자의 집중 정보를 수집하는 집중 정보 수집부(36)를 포함할 수 있다.

이때, 진단부(50)는, 사용자 데이터 수집부(30)에 의해 수집된 정보를 기초로, 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화 중 적어도 하나를 판단하며, 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화 중 적어도 하나와 상기 적어도 하나의 뇌 활성화 영역을 함께 이용하여 상기 사용자의 뇌 상태를 판단하게 된다.

또한, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 걸음걸이가 변화화는 상태, 상기 사용자의 스트레스가 변화하는 상태, 상기 사용자의 심전도가 변화하는 상태, 상기 사용자의 수면 조건이 변화하는 상태 및 상기 사용자의 집중력이 변화하는 상태 중 적어도 하나가 적용된 상황에서, 상기 사용자가 움직이는 동안 수행될 수 있다.

또한, 사용자 데이터 수집부(30)는, 사용자와의 관계에서 비접촉식 감정 변화 수집부(37)를 포함할 수 있다.

이러한 비접촉식 감정 변화 수집부(37)는, 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.

이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

또한, 비접촉식 감정 변화 수집부(37)는, 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.

이하에서는, 사용자 데이터 수집부(30)의 종류 중 대표적으로, 청각 정보 수집부(31)와 비접촉식 감정 변화 수집부(37)를 이용한 진단부(50)의 기능에 대해 설명한다.

먼저, 청각 정보 수집부(31)를 이용하는 실시예에 대해 구체적으로 설명한다.

도 17a 내지 도 17d는 본 발명과 관련하여, 난청 및 치매의 연관성을 설명하기 위한 도면이고, 도 18은 본 발명과 관련하여, 진전된 알츠하이머병의 뇌 용적 손실을 설명하는 도면이다.

또한, 도 19는 본 발명과 관련하여, 청각 장애로 인한 인지기능 손상과 치매 간의 연관성을 설명하는 도면이다.

도 17a 내지 도 17d를 참조하면, 고령사회에 따른 치매 인구가 급증하고 있고, 우리나라는 고령사회로 진입되면서 노인의 문제로만 인식되었던 치매가 최근에는 젊은 층으로까지 확대되어 사회적 문제로 인식되고 있다.

특히, 치매 환자 중 중증 치매 환자의 비율은 2016년 32%에서 2018년 30%로 감소 추세로 전환되었고, 이는 중증 치매 환자에 대한 약물치료 및 다양한 치매 프로그램을 통해서 환자들의 증세가 호전되고 있으나, 반대로 초기치매가 증가 되는 것으로 분석된다.

소음성 난청과 관련하여, 괴롭고 원치 않는 큰 소리를 소음이라 하는데 이러한 소음에 의해서 발생하는 감음 신경성 난청을 “소음성난청”이라 한다.

이는 소리를 감지하는 기관, 즉 달팽이관이 손상된 경우이며 특히 외유모세포가 주로 손상 받게 되고, 보통 75db 이하의 소리는 난청을 유발하지 않으나 사무실이나 대화환경이 60dB 정도이며 버스, 지하철, 식당 내의 소음이 80 dB 정도, MP3나 휴대용 CD플레이어를 이어폰으로 들을 경우 최대 음량이 100dB 정도, 모터사이클은 120dB, 비행기 소음이 140dB, 총소리가 170dB 에 이른다 함. 옆 사람이 다 들릴 정도로 이어폰 듣는 것은 100 - 115dB 정도가 됨. 85dB 이상 소음에 지속적으로 노출될 때는 귀에 손상을 줄 수 있다.

100dB에서 보호장치 없이 15분 이상 노출될 때, 110dB에서 1분 이상 규칙적으로 노출될 때 청력 손실의 위험에 처하고, 버스, 지하철 내의 소음이 보통 80㏈ 정도인데, 이러한 장소에서 청소년들이 음악소리를 들으려고 90㏈ 이상의 소리크기를 유지해야 하며 이를 반복 되풀이하면 난청에 이르게 된다.

소리의 강도는 음파의 진폭에 의해 결정되며 dB(데시벨)로 측정하고, 소리의 강도가10dB씩 증가할 때마다 소음의 크기는 두 배씩 증가하며, 대개 75dB 이하에서는 청력에 손상을 미치지 않는다.

소음성 난청 증상 관련하여, 소음성난청 발생 시 텔레비전이나 라디오 등도 크게 켜 놓는 양상을 보이고, 친구들 말을 잘 알아 듣지 못해 '사오정' ‘가는귀’ 라는 말을 듣게 된다.

주변이 조금만 시끄러워도 상대방의 이야기를 정확히 못 알아 듣고 딴 소리를 하며 공통적으로 고음 영역, 특히 4 k㎐에서 청력저하를 보이며 귀가 울어대는 이명을 동반하는 경우 많다.

청각 손상, 이명 외에도 불쾌감, 불안감, 불면증, 피로, 스트레스, 두통에 시달리는 등 정상 생활에 어려움을 겪을 수 있으며. 심한 경우 맥박과 혈압에도 영향을 주며 소화장애 및 자율신경계 이상을 초래할 수 있다.

소음성 난청 진단과 관련하여, 순음청력검사 및 이명검사, 이음향방사검사, 음누가검사, 청성뇌간유발반응검사 등 청력을 주파수 별로 정확히 측정하는 검사를 시행하고, 장기간 소음노출 후 서서히 진행되는 청력소실, 특히 4kHz 주변의 고음영역의 청력손실이 뚜렷한 경우 진단을 하게 된다.

소음성난청으로 한번 망가진 청력을 근본적으로 되돌릴 수 있는 방법 없는데, 이는 이미 손상된 청각세포는 회복되지 않기 때문이다. 특히, 수일 이내에 갑자기 소리가 들리지 않는다면 돌발성난청일 수 있으며 이러한 경우 정확한 검사와 더불어 스테로이드 호르몬, 혈관 확장제, 항바이러스제 등으로 치료를 받아야 한다.

이 경우에는 반드시 일정기간 귀를 쉬게 해주어야 회복을 기대할 수 있다.

돌발성 난청은, 뚜렷한 원인이 없이 갑자기 일어나는 감각신경성 난청 (귀가 잘 안 들리는 것)을 돌발성 난청이라 하며, 일반적으로 한쪽 귀에 나타나나 드물게 양측성인 경우도 있고, 때때로 난청과 더불어 이명 및 현기증을 동반하는 경우도 있다.

보통 응급질환으로 간주하여 조기에 입원치료를 시작하여야 하고, 아직까지 명확하지 않지만 청각 신경에 발생한 바이러스 감염, 내이 혈류의 장애, 달팽이관내 막의 파열, 그리고 내이 면역 질환, 신경학적 질환, 종양, 이독성 약물 등으로 발생원인을 추정하고 있다.

돌발성 난청 환자의1~2% 정도에서 청신경종양이 있을 수 있는데, 이는 자기공명영상(MRI)촬영을 통해 진단하고, 대개 입원하여 조용한 분위기에서 안정을 취하면서 부신피질 호르몬제, 혈관 확장 및 혈류 개선제, 대사 개선제, 진정제 등의 병용요법을 시행. 그 외에 저염식, 고단백 식이 권유. 발생 시 초기에 적극적으로 치료한 환자에서 치료율이 높은 것으로 알려져 있다.

치료의 결과는 대개 1/3에서 완전한 회복을 보이며 1/3은 발생 시보다 청력이 개선되지만 정상으로 회복되지는 못하며 1/3이하에서는 치료에 큰 반응을 보이지 않을 수 있다.

도 18 및 도 19를 참조하면, 치매에 걸릴 위험은 가벼운 청력 손실이 있는 노인의 경우 2배, 중간 정도의 청력 손실이 있는 경우 3배가 된다.

심각한 청력 손실을 가지고 있는 사람들에게, 그 위험은 청력 손실을 겪지 않은 사람들보다 5배의 발생 위험이 있고, Lancet 연구에 따르면 치매 발별에 대한 9가지 잠재적 위험 요인 중 난청이 9%로 가장 높았다.

청력 손실은 특히 배경 소음이 있는 상태에서 언어 지각력을 저하시키는 알츠하이머 병의 초기 증상이 될 수 있다.

또한, 청력 손실은 인지 자원에 대한 요구를 증가시키고, 뇌는 청각 능력이 떨어지면서 훨씬 더 열심히 일해야 한다.

대화를 이해하고 이해하려는 노력은 뇌가 뇌의 다른 부분, 특히 기억력으로부터 인지 능력을 ‘빌려 가는’ 것을 요구하고, 기본적으로 더 많은 정보를 받아들일수록 기억으로 전달되는 정보가 줄어들게 된다.

청력 손실은 뇌 조직개편 및 또는 사회적 박탈을 초래하여 인지능력 저하를 초래하고, 청각 능력의 감소는 종종 사회적 상호작용과 관여의 감소를 야기한다.

이에 따라 환경에 접근하고 상호작용하는 데 필요한 인지 기능이 감소하고, 난청 예방을 통한 치매의 진행 75%까지 늦출 수 있는 연구결과가 있다.

또한, 난청 같은 조기 감지 및 치료는 인지기능 저하를 예방하거나 감소시키는데 매우 중요하다.

60세 이상 노인 중 경도난청이 있는 경우 정상청력 인구보다 2배, 심한 난청의 경우 치매 확률이 5배가 높게 나타나고 있다(Lin, Albert, 2014).

도 20은 본 발명과 관련하여, 청력손실(이명)과 알츠하이머병(치매) 상관관계를 설명하기 위한 도면이다.

도 20을 참조하면, 난청인구 중 30%가 이명경험, 난청치료와 더불어 이명에 대한 검사, 치료가 추가적으로 제공 필요하고(Healthy Hearing, 2019), 이명환자를 대상으로 실험한 결과 이명은 청각기능에 영향을 미친 뒤 인지기능에 영향을 미치고(특히 집중과 사고), 치매에 영향 미치는 것을 확인하였다.

결국, 이명은 치매로 이어질 확률이 높다(Mahoney, Rohrer, Goll, Fox, Rossor, Warren, 2010).

1996년부터 2014년까지 이명관련 문헌 18편을 분석한 결과, 이명은 인지능력을 낮추고, 불안/우울증을 높이고 있다(Tegg-Quinn, Bennett, Eikelboom, & Baguley, 2016).

도 21은 본 발명과 관련하여, 청각과 인지장애 상관관계를 설명하는 도면이다.

도 21의 S21 단계 내지 S24 단계를 참조하면, 청각손상이 있으면 인지장애 걸릴 확률이 30dB 마다 2배씩 높아진다.

구체적으로, 30dB 차이면 2배, 60dB이면 4배 치매확률 높고(Uhlmann, Rees, 1989), 25dB의 변화에 따라 인지기능 수준이 낮아진다(347명 5년동안 추적한 결과, Lin, Ferrucci, Metter, An, Zonderman, & Resnick, 2011).

결국, 청각문제 > 문장듣기문제 > 단어듣기 > 전체적 이해문제 > 반응문제 > 경도인지장애로 이어지게 된다.

30dB마다 청각손상이 있으면 2배 정도 인지장애를 가진 확률 있고, 이러한 것들이 순차적으로 발생하는 것이 아니라 청각, 인지, 시각 중 하나라도 문제가 발생하면 인지장애로 이어지게 된다(이수정, 이승진, 송지연, 김형희, 2014).

도 22는 본 발명과 관련하여, 순음청력 검사에 따른 과정을 설명하는 도면이고, 도 23은 본 발명과 관련하여, 순음청력 검사에 활성화된 뇌 신호 구조를 적용한 일례를 설명한 도면이다.

도 23을 참조하면, 본 발명에서 사용자 데이터 수집부(30)는, 사용자의 청각 정보를 수집하는 청각 정보 수집부(31)를 포함할 수 있다.

다음으로, 비접촉식 감정 변화 수집부(37)를 이용한 진단부(50)의 기능에 대해 설명한다.

비접촉식 감정 변화 수집부(37)를 기초로, 개인 감성 인식을 위한 생체데이터 수집 및 데이터 증강이 가능해질 수 있다.

다양한 도메인(연령대, 성별, 액세서리의 유무 등)에 대해 균일한 분포로 6가지 기본 감정을 나타내고 있는 텍스트 및 표정데이터를 수집할 수 있다.

기본 감성 6가지(화남, 혐오, 공포, 행복, 슬픔, 놀람) 및 중립에 대하여 성별, 나이, 지역을 고려한 대규모 일상 음성 데이터 및 해당 감성을 나타내는 라벨링 데이터를 수집할 수 있다.

수집한 데이터에 대한 기본 감정 라벨 태깅하고, Eye tracking을 포함한 얼굴 랜드마크 마스킹 데이터를 수집할 수 있다.

또한, 대상의 의도 파악을 위한 pose estimation 영상 및 이미지를 수집하고, 감성 간 데이터 불균형 해소를 위한 음성 증강 기술이 제공될 수 있다.

생체 데이터 기반 개인감성 인식 관련, 수집한 데이터를 이용해 훈련된 DNN(Deep Neural Network) 모델을 통한 감정을 인식할 수 있다.

감성 인식 성능 향상을 위하여 수집된 데이터에 대한 노이즈 제거, 음성 구간 추출 등 전처리 기술 개발 및 적용 가능하고, 감성 인식에 적합한 음성 특징 선별 및 특징 추출 모듈이 적용될 수 있다.

또한, 딥러닝 기반 발화 단위 기본 감정 인식 모델이 적용가능하고, 대상 데이터에 대한 기본 감정 추론 및 음성데이터를 활용한 개인감정 인식을 위해 음성의 시계열 특징 추출이 가능하다.

딥러닝 기술 중 시계열 데이터를 고려한 순환신경망(Recurrent Neural Network), 주의집중기법을 사용하는 트랜스포머(transformer) 등을 활용한 감정 인식 AI 모델이 적용될 수 있고, 설계한 감정 인식 AI 모델 학습 및 bayesian optimization 등과 같은 하이퍼파라미터 튜닝 기술을 이용하여 최적의 감정 인식이 가능하게 할 수 있다.

또한, 이미지와 영상에서 눈, 코, 입, 눈썹, 얼굴 윤곽에 대한 인식이 가능하고, 수집된 eye tracking 데이터와 얼굴 랜드마크 시계열 데이터로부터 집중도 추출이 가능하다(연속적인 데이터를 이용하므로 어텐션(attention) 기반의 인공 신경망 기술 사용 가능).

개인감성 및 일상상황 추적을 통한 사회감성 인식 기술이 적용될 수 있고, 감정 임베딩 고도화, 감정을 하나로 분류하는 것이 아닌 연속적인 공간에 표현할 수 있고 시계열 데이터의 연속성을 반영하는 임베딩 공간으로 강화, 시각, 음성, 자연어에서 추출한 감정 임베딩을 결합하여 multi-modal 감정 분석 등이 이에 적용된다.

사회 감성의 인식을 위해 음성으로부터 텍스트, d-vector 기반 화자 임베딩, 기 개발한 음성 감성 인식 기술을 이용하여 개인 감성을 추출 및 벡터화 기술이 적용될 수 있다.

감정으로 인해 어조가 평탄하지 않은 일상 대화 음성에 대해 성능 저하를 억제하기 위한 CMVN(Cepstral mean and variance normalization)을 적용한 특징 추출하여 적용 가능하고, 상황정보에 따라 바뀔 수 있는 어법, 단어의 특징을 고려할 수 있도록 도메인 적응 (Domain adaptation)을 적용한 언어모델이 적용될 수 있다.

비접촉식 감정 변화 수집부(37)는, 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.

한편, 도 16b는 본 발명과 관련하여, 영상 획득부의 블록 구성도를 도시한 것이다.

본 발명에 따른 영상 획득부(40)는, 사용자와 관련된 의료 영상을 수집하는 기능을 제공한다.

본 발명에 따른 영상 획득부(40)는, 사용자와 관련된 MRI 영상을 수집하는 MRI 영상 획득부(41), 상기 사용자와 관련된 CT 영상을 수집하는 CT 영상 획득부(42), 상기 사용자와 관련된 fMRI 영상을 수집하는 fMRI 영상 획득부(43) 등이 이용될 수 있다.

이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상을 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

인공지능 데이터 활용 응용서비스

액티브 브레인 의료 생체 AI 데이터와 관련하여, 다양한 영상 분석에서 높은 성능을 보여주며, 영상 분석 딥러닝 알고리즘 중 가장 널리 사용되고 있는 CNN(convolutional neural network) 기반의 모델 중 inception v3을 사용하여 인공지능 판독 시범 모델이 적용될 수 있다.

액티브 브레인 의료 생체 AI 데이터 필요성 관련, 본 발명에서는 의료 인공지능 판독 기술 개발에 필수적인 기반데이터를 제공하고, 공공 및 민간에서 인공지능 기술 발전에 따라 자생적으로 데이터를 확장, 개방하는 선순환 생태계 조성하는 것을 목표로 함, 따라서 구축된 데이터의 유효성을 검증할 필요가 있다.

도 24는 본 발명과 관련하여, 액티브 브레인 의료 생체 AI 데이터 모델/알고리즘의 일례를 도시한 것이다.

도 24를 참조하면, Inception v3은 널리 사용되는 영상 인식 모델로서, ImageNet 데이터세트에서 78.1% 이상의 정확성을 실현하고, 라벨이 지정된 대량 이미지 집합을 사용한 지도 학습 과정이 필요하다.

이미지에는 라벨이 지정된 객체의 보다 정확한 위치를 지정하는 경계 상자도 포함된다.

또한, 도 25는 본 발명과 관련하여, Inceptions V3의 구조의 일례를 도시한 것이다.

도 25를 참조하면, 학습 및 평가 데이터세트는 의도적으로 분리되어 유지되고, 모델 학습에는 학습 데이터세트의 이미지만 사용되며 모델 정확성 평가에는 평가 데이터세트의 이미지만 사용한다.

모델 자체는 컨볼루션, 평균 풀링, 최대 풀링, 이어붙이기, 드롭아웃, 완전 연결 레이어를 비롯한 대칭/비대칭 구성요소로 이루어져 있다.

도 26은 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 SW 개념도의 일례를 도시한 것이다.

도 26을 참조하면, 소스코드와 실시간 데이터 연결을 통해 데이터품질의 사전분석, 진단, 평가, 개선하고, 저장장치인 repository를 기준정보에 맞추어 데이터 저장이 수행되며, 저장된 데이터를 인공지능 엔진을 사용하여 품질관리를 실행한다.

도 27은 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 전처리의 일례를 도시한 것이다.

도 27을 참조하면, 품질 관리 사전분석 하여 인적비용 최소화를 위한 자동화를 수행하고, 데이터 유형별 자동 판별 시스템을 구축하여 지표 및 방법 자동 매칭 생성이 가능하다.

도 28은 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 진단의 일례를 도시한 것이다.

도 28을 참조하면, 데이터 품질 측정하여 다양한 유형의 데이터 진단 기술이 적용되고, 텍스트, 이미지, 수치, 파형등에 맞추어 데이터 품질 측정이 가능하며, 산업별 업무규칙(법률, 의료, 금융 등) 에 따라 해당 데이터 축적 및 피드백이 가능하다.

도 29는 본 발명과 관련하여, 인공지능 학습용 데이터 품질관리 및 검증 방안의 일례를 도시한 것이다.

도 29를 참조하면, 개선 및 피드백을 진행하여 품질 평가 라이프사이클 전 과정을 대상으로 진행하고, 평가는 다양한 관점별 품질 진단 수준 평가 및 오류유형 분류 및 개선 가이드하고, 개선은 군집도 분석을 개선데이터 추천 및 개선결과 피드백을 수행한다.

데이터 수집을 위한 방법으로, 학습자의 일상 데이터 및 학습생활 특성을 파악할 수 있다.

예를 들어, 일상생활에서 수집될 수 있는 데이터 및 생체데이터를 파악하고, 대상 연령을 만6세(미취학) ~ 만15세(중학교 3학년), 총 10개 학년 구간으로 하고, 생체데이터 수집을 위한 요인 탐색 및 구조화하며, 관련된 데이터 수집을 위한 중요 요인을 탐색(행동 및 음성)할 수 있다.

도 30의 S31 단계 내지 S39 단계는, 본 발명과 관련하여, 생체데이터 수집을 위한 요인 탐색 및 구조화의 일례를 도시한 것이다.

또한, 감성매핑을 위한 design과 관련하여, 학습자의 특성에 따른 분류를 통하여 사회감성에 대한 군집화, 감성매핑을 위해 포함되어야 하는 요인결정 및 분류 등이 적용될 수 있다.

감성매핑 정확도에 대한 예시로서, 도 31a를 도시하였다.

또한, 도 31b는 본 발명과 관련하여, 수집된 데이터의 연계방안 예시로서, 신뢰성 있는 데이터 전송 및 데이터간 네트워크 고도화를 위해, 정확도 향상을 위한 고도화된 생체데이터 수집이 적용될 수 있고, 사회감성 및 학습활동과 연계된 생체데이터의 정확도 향상을 위한 수집방법이 적용될 수 있다.

한편, 도 32는 본 발명과 관련하여, 아동의 뇌 발달 측정 결과에 따른 6단계로 구분된 훈련 프로그램의 일례를 도시한 것이다.

이 모델은, 아동의 “실시간 뇌 측정을 위한 다자간 무선 뇌신호 측정기기” 및 “뇌발달 검사 서비스”로 본 발명이 활용될 때 적용될 수 있다.

도 32를 참조하면, 본 발명은 “다자간 무선 뇌신호 측정기기” 및 “뇌발달 검사 서비스”를 기초로 실시간 뇌 측정결과를 기반으로 하여 맞춤형 뇌발달 프로그램을 제공한다.

즉, 뇌 발달 상태 측정 결과 제공(어플리케이션), 일상생활 및 학습에서의 집중력 등 뇌발달 훈련 프로그램 제공할 수 있는데, 뇌발달 훈련 프로그램의 경우 주요 내용으로는 집중력 측정을 통한 수준향상이 필요한 뇌영역(전전두엽 활성화 정도, 후두엽 활성화 정도, 측두엽 활성화 정도) 및 집중력 수준 도출(Level I-5분, Level II-10분, Level III-20분) 등을 포함할 수 있다.

이때, 각각의 수준에 따른 적절한 집중력 훈련 프로그램(불안 줄이기, 몰입의 즐거움 알기, 한눈파는 시간 줄이기), 뇌변화 프로그램(신체적 과제수행, 인지적 과제수행, 시각적 훈련-단순선택, 청각적 훈련-단순선택, 얼제지속, 작업기능 순방향/역방향)이 제공될 수 있다.

도 33a 및 도 33b는 본 발명과 관련하여, 훈련 전(before) 프로그램 결과 예시와 훈련 후(after) 프로그램 결과 예시를 도시한 것이다.

도 33a에서 빨간색은 평균이하로 집중력관련 문제가 있음을 나타내고, 녹색은 평균이상으로 집중력이 높음을 나타내며, 도 33b에서 녹색은 평균이상으로 집중력관련 문제가 없음을 나타낸다.

따라서 진단부(50)는, AI를 기초로, 뇌 활성화 영역, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상을 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있고, 대상이 되는 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.

또한, 관리부(60)는 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 기능을 제공할 수 있다.

사용자의 뇌 상태를 판단하여 피드백하는 방법

도 34는 본 발명과 관련하여, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있는 방법을 설명하는 순서도이다.

도 34를 참조하면, 가장 먼저, 뇌 신호 측정부(10)의 뇌 신호 획득부(11)가 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 단계(S100)를 수행한다.

특히, 본 발명에 따른 S100 단계에서, 뇌 신호 획득부(11)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행되는 것을 기술적 특징으로 한다.

여기서 뇌 신호 측정부(11)는, 앞서 설명한 것과 같이, 사용자의 헤드를 모두 덮는 풀 커버(full cover) 형태 또는 상기 사용자 헤드의 전면부에 밀착되는 전면부 형태로 구현될 수 있다.

이후, 상기 뇌 신호 측정부(10)의 뇌 신호 처리부(12)가 상기 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 단계(S200)를 수행한다.

구체적으로, S200 단계에서는 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 산화 헤모글로빈 농도(Oxy Hb)와 환원 헤모글로빈 농도(Deoxy Hb)를 추출함으로써, 상기 헤모글로빈 산소화 정도를 판단한다.

또한, 적어도 하나의 뇌 활성화 영역에서는, 상기 뇌 혈류 내의 산화 헤모글로빈에 의해 수송된 산소가 소비됨으로써, 산화 헤모글로빈 농도(Oxy Hb)가 감소하고, 상기 산화 헤모글로빈 농도(Oxy Hb)의 감소에 대응하여 상기 환원 헤모글로빈 농도(Deoxy Hb)가 증가되는 특성을 갖는다.

결국, 상기 산화 헤모글로빈 농도(Oxy Hb)와 상기 환원 헤모글로빈 농도(Deoxy Hb)는, 가시광 영역과 근적외광 영역에서 변화되는 광 특성을 가지고, 본 발명에 따른 뇌 신호 측정부는, 상기 근적외선 조사에 의한 근적외 분광법(fNIRS: functional Near-Infrared Spectroscopy)을 통해, 상기 신호를 수집하게 된다.

S200 단계 이후에는, 뇌 신호 측정부(10)의 뇌 신호 분석부(13)가 상기 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 단계(S300)를 수행한다.

이후, 진단부(50)가 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하는 단계(S400)를 수행한다.

뇌 상태 표시 및 판단 방법

뇌 신호 측정부(10)의 뇌 신호 분석부(13)가 상기 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 단계(S300)에 대해 보다 구체적으로 설명한다.

도 35는 본 발명과 관련하여, 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 시간에 따라 표시하고, 이를 통해 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 35를 참조하면, S300 단계는, 사용자의 뇌 영역을 복수로 분할하는 단계(S310), 복수로 분할된 뇌 영역 각각이, 일정 시간 단위로 상기 뇌 활성화 영역으로 변화되었는지 또는 상기 뇌 활성화 영역에서 비 활성화 영역으로 변화되었는지 여부를 판단하는 단계(S320)를 포함한다.

이후, 뇌 신호 측정부(10)의 디스플레이부(15)가, 상기 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 시간에 따라 표시하는 단계(S330)를 수행한다.

또한, 일정 시간 단위를 기준으로, 상기 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 이용하여 상기 사용자의 뇌 상태를 판단하는 단계(S400)가 진행된다.

뇌 자극 방법

한편, S100 단계 이전에는, 뇌 자극하는 단계가 추가적으로 활용될 수 있다.

도 36은 본 발명과 관련하여, 뇌 신호 측정부의 신호 수집 동작을 위해, 사용자의 뇌를 자극하는 방법을 설명하는 순서도이다.

도 36을 참조하면, 먼저, 뇌 신호 측정부(10)의 신호 수집 동작을 위해, 뇌 신호 자극부(20)가 사용자의 뇌를 자극하는 단계(S50)가 수행된다.

이후, 뇌 신호 측정부(10)의 뇌 신호 획득부(11)가 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 단계(S100)를 수행하게 된다.

한편, S50 단계는, 뇌 신호 자극부의 뇌 활성화 장치가 일정 공간 내에서 미리 타겟팅 된 뇌 영역의 활동을 집중적으로 강화하고, 상기 뇌 영역의 기능을 활성화시키도록, 다차원적인 환경적 자극을 가하는 (a)단계와 상기 뇌 신호 자극부의 관리 서버가, 상기 공간 내에서 상기 타겟팅 된 뇌 영역에 다차원적인 환경적 자극을 가하도록 상기 뇌 활성화 장치의 구동을 제어하는 (b) 단계를 포함할 수 있다.

또한, 본 발명에 따른 공간은 복수의 공간으로 구획되고, 상기 (a) 단계는, 미디어부가 상기 복수의 공간 각각에서 연출하고자 하는 컨셉에 대응되는 미디어 아트를 구현하는 단계, 음향부가 음향을 출력하는 단계, 조명부가 빛을 조사하거나 조명하는 단계, 및 향기 전달부가 향기를 상기 사용자에게 전달하는 단계를 포함할 수도 있다.

또한, (b) 단계에서, 관리 서버는, 상기 복수의 공간 각각의 컨셉에 대응되는 복수의 미디어 정보와 음향 정보, 상기 뇌 활성화 장치의 구동을 제어하기 위한 프로그램이 저장되는 데이터베이스를 포함하고, 상기 데이터베이스에 저장된 각종 정보와 프로그램 중에서 각 공간의 컨셉에 대응되는 복수의 미디어 정보, 음향 파일과 프로그램 중에서 하나 이상을 선택하고, 선택된 정보와 프로그램에 따라 변경하도록 상기 뇌 활성화 장치의 구동을 제어할 수 있다.

또한, 상기 미디어부는 각 공간의 컨셉에 대응되는 미디어 아트를 구현하는 복수의 미디어 모듈을 포함하고, 상기 각 미디어 모듈은 사진이나 동영상을 포함하는 미디어 아트를 투사하는 프로젝터나 디스플레이 패널을 포함하며, 상기 음향부는 각 공간의 컨셉에 대응되는 음향을 출력하는 복수의 음향 모듈을 포함하고, 각 음향 모듈은 음악이나 자연의 백색 소음을 포함하는 음향을 출력하는 스피커와 앰프를 포함할 수 있다.

또한, 조명부는 각 공간의 컨셉에 대응되는 빛을 조사하거나 조명하는 복수의 조명 모듈을 포함하고, 각 조명 모듈은 레이저를 조사하는 레이저 발생기, 빛을 조사하는 LED, 네온 조명 중에서 하나 또는 둘 이상을 조합해서 구성되며, 상기 향기 전달부는 각 공간에서 배치된 자연물의 향기를 사용자에게 전달하는 복수의 전달 모듈을 포함하고, 각 전달 모듈은 각 공간에 배치된 자연물에서 발생하는 향기 또는 자연물의 향기를 모방한 향기를 각 공간 내부의 사용자에게 전달하도록 공기를 송풍하는 송풍기를 포함할 수 있다.

또한, 상기 (b) 단계 이후에는, 관리자의 조작에 기초해서 상기 뇌 활성화 장치의 구동을 제어하는 관리자 단말이, 각 공간에 설치되는 각 모듈에 대해 상기 관리 서버의 데이터베이스에 저장된 복수의 정보 파일과 프로그램 중에서 하나 이상을 선택하고, 선택된 정보 파일과 프로그램에 따라 미디어, 음향, 조명 등을 선택된 주기적 또는 불규칙하게 변경하도록 제어하는 (c) 단계를 더 포함할 수도 있다.

또한, 상기 (b) 단계 이후에는, 관리 서버와 통신 가능하고, 상기 사용자의 조작 명령을 입력하는 사용자 단말이, 상기 사용자로부터 연령, 성별, 취향, 심리 상태를 포함하는 사용자 정보를 입력하고, 입력된 사용자 정보를 상기 관리 서버로 전달하는 (c) 단계와 관리 서버가 수신된 사용자 정보에 따라 사용자의 연령, 성별, 취향, 심리 상태를 판단하고, 판단한 결과에 기초해서 개인 맞춤형 컨셉에 대응되는 미디어, 음향, 조명을 제공하도록 제어하는 (d) 단계를 더 포함할 수도 있다.

사용자와 관련된 신체 정보를 이용하여 뇌 상태를 판단하는 방법

본 발명의 다른 실시예에 따르면, 사용자와 관련된 신체 정보를 이용하여 뇌 상태를 판단하는 방법이 적용될 수도 있다.

도 37은 본 발명과 관련하여, 사용자와 관련된 신체 정보를 수집하고 이를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 37을 참조하면, 뇌 신호 측정부(10)의 뇌 신호 분석부(13)가 상기 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 단계(S300)를 수행한다.

이때, S400 단계로 넘어가기 이전에, 사용자 데이터 수집부(20)가 상기 사용자와 관련된 신체 정보를 수집하는 단계(S360)를 수행한다.

또한, 진단부(400)는 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역과 더불어 S360 단계를 통해 획득된 사용자 관련 신체 정보를 함께 이용하여, 사용자의 뇌 상태를 판단하는 단계(S400)를 수행하게 된다.

이하에서는, S360 단계와 관련된 구체적인 본 발명의 실시예들에 대해 설명한다.

먼저, 도 38은 본 발명과 관련하여, 사용자의 청력 손상 정도를 판단하고, 이를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 38을 참조하면, 전술한 S400은, 진단부(50)가 수집된 청각 정보를 기초로 상기 사용자의 청력 손상 정도를 판단하는 단계(S410) 및 진단부(50)가 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 청력 손상 정도를 함께 이용하여 상기 사용자의 뇌 상태를 판단하는 단계(S420)로 구성될 수 있다.

예를 들어, 사용자의 청력 손상은, 난청에 의한 것이고, 진단부(50)는, 상기 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 난청 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

또한, 사용자의 청력 손상은, 이명에 의한 것이고, 진단부(50)는, 상기 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 이명 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.

또한, 금번 실시예의 경우, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 청력 손상이 발생된 상태에서, 상기 사용자가 움직이는 동안 수행될 수 있다.

또한, 도 39는 본 발명과 관련하여, 사용자의 걸음걸이 정보를 수집하는 걸음걸이 정보 수집부, 사용자의 스트레스 정보를 수집하는 스트레스 정보 수집부, 사용자의 심전도 정보를 수집하는 심전도 정보 수집부, 사용자의 수면 정보를 수집하는 수면 정보 수집부, 사용자의 집중 정보를 수집하는 집중 정보 수집부를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 39를 참조하면, 사용자 데이터 수집부(30)가, 사용자의 걸음걸이 정보, 사용자의 스트레스 정보, 사용자의 심전도 정보, 사용자의 수면 정보 및 사용자의 집중 정보를 수집하는 단계(S360)를 수행한다.

이후, 진단부(50)는 사용자 데이터 수집부에 의해 수집된 정보를 기초로, 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화 중 적어도 하나를 판단하는 단계(S410)를 수행한다.

이후, 진단부(50)는, 상기 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화 중 적어도 하나와 상기 적어도 하나의 뇌 활성화 영역을 함께 이용하여 상기 사용자의 뇌 상태를 판단하는 단계(S420)를 수행하게 된다.

이러한 실시예의 경우, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 걸음걸이가 변화화는 상태, 상기 사용자의 스트레스가 변화하는 상태, 상기 사용자의 심전도가 변화하는 상태, 상기 사용자의 수면 조건이 변화하는 상태 및 상기 사용자의 집중력이 변화하는 상태 중 적어도 하나가 적용된 상황에서, 상기 사용자가 움직이는 동안 수행될 수 있다.

또한, 도 40은 본 발명과 관련하여, 아이 트래킹(Eye tracking)을 기초로 한 비접촉식 감정 변화 수집부를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 40을 참조하면, 사용자 데이터 수집부(30)가, 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 단계(S360)를 수행한다.

이후, 진단부(50)는 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단하는 단계(S420)를 수행한다.

또한, 도 41은 본 발명과 관련하여, 음성 변화를 기초로 한 비접촉식 감정 변화 수집부를 추가적으로 이용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 41을 참조하면, 사용자 데이터 수집부(30)는 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 단계(S360)를 수행한다.

사용자와 관련된 의료 영상을 이용하여 뇌 상태를 판단하는 방법

한편, 본 발명의 또 다른 일 실시예에 따르면, 사용자와 관련된 의료 영상을 이용하여 뇌 상태를 판단하는 방법이 제공될 수 있다.

도 42는 본 발명과 관련하여, 사용자와 관련된 의료 영상을 추가적으로 수집 및 활용하여 사용자의 뇌 상태를 판단하는 방법을 설명하는 순서도이다.

도 42를 참조하면, 뇌 신호 측정부(10)의 뇌 신호 분석부(13)가 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 단계(S300)를 수행한다.

이후, 사용자 데이터 수집부(30)가 상기 사용자와 관련된 신체 정보를 수집하는 단계(S360)를 수행하고, S400 단계로 진입하기 이전에, 영상 획득부(40)가 상기 사용자와 관련된 의료 영상을 수집하는 단계(S370)를 수행한다.

S370 단계에서는, 사용자와 관련된 MRI 영상을 수집하는 MRI 영상 획득부, 상기 사용자와 관련된 CT 영상을 수집하는 CT 영상 획득부, 상기 사용자와 관련된 fMRI 영상을 수집하는 fMRI 영상 획득부 등이 활용될 수 있다.

이후, 진단부(50)가 적어도 하나의 뇌 활성화 영역, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상을 함께 이용하여 상기 사용자의 뇌 상태를 판단하는 단계(S400)를 수행하게 된다.

사용자의 뇌 상태에 대응하여 피드백을 제공하는 방법

또한, 본 발명의 실시예에 따르면, 사용자의 뇌 상태에 대응하여 피드백을 제공하는 방법이 제공될 수 있다.

도 43은 본 발명과 관련하여, 사용자의 뇌 상태에 대응하여 사용자의 뇌 상태 개선을 위한 정보를 제공하는 방법을 설명하는 순서도이다.

도 43을 참조하면, 진단부(50)가 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하는 단계(S400)를 수행한다.

이후, 관리부(60)가, 상기 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 단계(S500)를 수행하게 된다.

S500 단계과 관련하여, 도 44는 본 발명과 관련하여, 사용자의 뇌 상태 개선을 위해 뇌를 자극하는 방법을 설명하는 순서도이다.

도 44를 참조하면, 미리 설정된 기준을 적용하여, 상기 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 단계(S410)가 진행된다.

이해, 관리부(60)의 제어에 따라, 사용자의 뇌 상태 개선을 위해, 뇌 신호 자극부(20)가 상기 사용자의 뇌를 자극하기 단계(S510)를 수행할 수 있다.

이 이외에도 사용자의 상태가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애에 해당하는 경우, 현재 상태에 대한 판단을 기록하고, 추후 해당 장애의 변화를 트래킹하면서, 사용자의 뇌 건강 상태를 체크 및 관리하는 것이 가능하다.

본 발명에 따른 효과

상술한 바와 같이, 본 발명에 따른 인공지능 기반 뇌 정보 제공 장치는, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 피드백 할 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims

사용자의 뇌와 관련된 신호를 수집하는 뇌 신호 측정부; 및
상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부; 를 포함하고,

상기 뇌 신호 측정부는,
상기 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 뇌 신호 획득부;
상기 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 뇌 신호 처리부; 및
상기 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 뇌 신호 분석부;를 포함하고,

상기 뇌 신호 측정부의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행되며,

상기 진단부는, 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하고,

상기 사용자와 관련된 신체 정보를 수집하는 사용자 데이터 수집부;를 더 포함하며,

상기 사용자 데이터 수집부는,
상기 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부;를 더 포함하고,
상기 진단부는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단하는 것을 특징으로 하는 아이 트래킹을 이용한 인공지능 기반 뇌 정보 제공 장치.
사용자의 뇌와 관련된 신호를 수집하는 뇌 신호 측정부; 및
상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부; 를 포함하고,

상기 뇌 신호 측정부는,
상기 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 뇌 신호 획득부;
상기 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 뇌 신호 처리부; 및
상기 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 뇌 신호 분석부;를 포함하고,

상기 뇌 신호 측정부의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행되며,

상기 진단부는, 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단하고,

상기 사용자와 관련된 신체 정보를 수집하는 사용자 데이터 수집부;를 더 포함하며,

상기 사용자 데이터 수집부는,
상기 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부;를 더 포함하고,
상기 진단부는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단하는 것을 특징으로 하는 음성 변화 정보를 이용한 인공지능 기반 뇌 정보 제공 장치.