KR20170132055A

KR20170132055A - 뇌자극 기반의 감각 대체 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR20170132055A
Application number: KR1020160063067A
Authority: KR
Inventors: 정천기; 김준식; 윤석윤
Original assignee: 서울대학교산학협력단
Priority date: 2016-05-23
Filing date: 2016-05-23
Publication date: 2017-12-01
Also published as: KR101841625B1

Abstract

본 발명은 감각 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 감각 센서로부터 전송되는 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 감각 정보는 주변 환경 정보를 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보 등을 포함함 - 를 추출하며, 추출된 감각 정보에 대응하는 촉감각을 사용자에게 유발시키기 위하여, 감각 정보 중 제1 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 감각 정보 중 제2 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질과 이차체성감각피질을 자극하기 위한 제2 자극 신호를 생성하도록 지원함으로써, 인체의 오감 정보를 뇌자극을 통한 촉감각으로 생성할 수 있으므로 실감도 감각 유발 장치의 사용자 편의성을 증대시킬 수 있으며, 주변 환경을 인지할 수 있도록 하는 감각을 생성하여 줌으로써 시각, 청각 등의 장애를 가진 환자에게 감각 대체 장치로 유용한 효과가 있다.

Description

감각 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{APPARATUS FOR GENERATING SOMESTHESIS, AND METHOD THEREOF AND COMPUTER-READABLE RECORDING MEDIA USING THE SAME}

본 발명은 감각 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는, 감각 센서로부터 전송되는 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 감각 정보는 주변 환경 정보를 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보 등을 포함함 - 를 추출하며, 추출된 감각 정보에 대응하는 촉감각을 사용자에게 유발시키기 위하여, 감각 정보 중 제1 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 감각 정보 중 제2 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질과 이차체성감각피질을 자극하기 위한 제2 자극 신호를 생성하도록 지원하는 것을 특징으로 하는 감각 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

최근 IT 기술의 비약적인 발전과 더불어 사용자 편의성을 극대화시키는 인간 중심의 컴퓨팅기술이 주목을 받고 있다. 또한, 이러한 기술은 일반인 뿐만 아니라 전 세계 인구의 약 10%를 차지하고 있는 장애인들의 일상생활을 보조해 주고자 하는 노력들이 활발히 진행 중에 있다.

일 예로, 시각 장애인을 위해서는 전방의 장애물의 유무 및 거리 등을 진동이나 음성으로 알려주고 있으며, 청각 장애인을 위해서는 감지되는 소리를 진동이나 시각정보로 표시하여 주고 있다.

이러한 방법은 각각의 장애를 가진 사람에게는 유용하지만, 시각과 청각에 대해 모두 장애를 가지는 사람에게는 불편함을 초래한다.

또한, 햅틱 기술의 발전에 의해 촉감 자극을 생성하는 기술이 제안되고 있다.

이러한 햅틱 기술은 촉감 자극을 위하여 말초신경에 대한 외부 장비에 의한 물리적 자극방식을 사용하고 있다.

그러나, 햅틱 기술을 이용할 경우 기본적으로 물리적으로 감각을 유발할 특정 하드웨어를 신체 곳곳에 장착하여야 한다는 근본적인 문제가 있다.

특히, 감각 유발 대상 위치가 많아지고 감각의 종류가 많아질수록 해당 자극 시스템은 복잡해지며, 장비 착용에 따른 감각 유발 대상 위치의 이물감이 증가할 수밖에 없어 결과적으로 실감도가 떨어지게 되고, 사용자 편의성이 떨어지게 된다.

또한, 햅틱 기술을 이용한 방식의 경우, 감각 대체 기능을 수행할 타깃 감각이 감각 대체로 인하여 원래 수행하여야 하는 기능을 하지 못하게 될 가능성이 커지게 되는 문제점이 있다. 예를 들어, 햅틱 디바이스를 착용한 손은 감각 대체장치로 인하여 실제 물체를 만지는 등의 기본적인 기능을 수행할 수 없게 된다.

이에, 본 발명자는 주변 환경에 대응하여 사용자가 주변 환경을 인지할 수 있도록 하기 위한 감각을 생성하는 기술을 제안하고자 한다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

본 발명은 인체의 오감 정보를 뇌자극을 통한 촉감각으로 생성할 수 있도록 하는 것을 또 다른 목적으로 한다.

본 발명은 시각, 청각 등의 장애를 가진 환자에게 주변 환경을 인지할 수 있도록 하는 감각을 생성하여 주는 것을 또 다른 목적으로 한다.

본 발명은 인체의 오감 이외의 적외선, 자기장 등에 의한 감각을 인지할 수 있도록 하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 주변 환경에 대응한 감각 생성 장치로서, (i)감각 센서로부터 전송되는 상기 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 상기 감각 정보는 상기 주변 환경 정보를 상기 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보 등을 포함함 - 를 추출하고, (ii)상기 추출된 감각 정보에 대응하는 촉감각을 상기 사용자에게 유발시키기 위하여, 상기 감각 정보 중 제1 조건의 감각 정보에 대응하여 상기 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 상기 감각 정보 중 제2 조건의 감각 정보에 대응하여 상기 사용자 뇌의 이차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제2 자극 신호를 생성하도록 지원하는 프로세서; 및 상기 제1 자극 신호 및 상기 제2 자극 신호에 의해 상기 사용자의 뇌를 자극하여 주는 뇌자극부; 를 포함하는 장치가 제공된다.

본 발명의 다른 태양에 따르면, 주변 환경에 대응한 감각 생성 방법으로서, (a) 감각 센서로부터 전송되는 상기 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 상기 감각 정보는 상기 주변 환경 정보를 상기 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보 등을 포함함 - 를 추출하는 단계; 및 (b) 상기 추출된 감각 정보에 대응하는 촉감각을 상기 사용자에게 유발시키기 위하여, 상기 감각 정보 중 제1 조건의 감각 정보에 대응하여 상기 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 상기 감각 정보 중 제2 조건의 감각 정보에 대응하여 상기 사용자 뇌의 이차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제2 자극 신호를 생성하도록 지원하는 단계; 를 포함하는 방법이 제공된다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 인체의 오감 정보를 뇌자극을 통한 촉감각으로 생성할 수 있으므로 실감도를 증대시킬 수 있다.

또한, 본 발명은 인체의 오감 정보를 뇌자극을 통한 촉감각으로 생성할 수 있으므로 감각 유발 장치의 사용자 편의성을 증대시킬 수 있다.

또한, 본 발명은 주변 환경을 인지할 수 있도록 하는 감각을 생성하여 줌으로써 시각, 청각 등의 장애를 가진 환자에게 감각 대체 장치로 유용한 효과가 있다.

또한, 본 발명은 인체의 오감뿐만 아니라 적외선, 자기장 등에 의한 감각도 인지할 수 있도록 함으로써 가상 현실 등의 다양한 분야에 적용 가능한 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 감각 생성 장치를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 시각 정보에 대응하는 감각을 생성하는 방법을 설명하기 위한 상태도를 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 감각 생성을 위한 뇌의 자극 위치를 개략적으로 도시한 것으로, 도 3의 (a)의 뇌의 자극 위치를 도시한 것이고, 도 3의 (b)의 일차체성감각피질의 호문쿨루스를 개략적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 청각 정보에 대응하는 감각을 생성하는 방법을 설명하기 위한 상태도를 개략적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에서 인가되는 주파수에 따른 일차체성감각피질(S1)과 이차체성감각피질(S2)에서의 뇌반응 패턴을 개략적으로 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 감각 생성 장치를 개략적으로 도시한 것으로, 도 1을 참조하면, 본 발명의 일 실시예에 따른 감각 생성 장치는 감각 센서(10), 프로세서(20), 및 뇌자극부(30)를 포함할 수 있다.

먼저, 감각 센서(10)는 사용자의 주변 환경 정보를 검출하는 것으로, 일 예로, 사용자 주변의 물리적 정보를 받아들여 해석 가능한 디지털 신호로 변환하여 전송하여 준다.

또한, 감각 센서(10)는 시각 정보 센서, 및 청각 정보 센서를 포함할 수 있다. 이때, 시각 정보 센서는 영상 센서와 속도 센서를 포함할 수 있으며, 청각 정보 센서는 음성 센서를 포함할 수 있다. 또한, 감각 센서(10)는 비감각 정보 센서를 포함할 수도 있다. 이때, 비감각 정보 센서는 적외선 센서, 자외선 센서, 및 자기장 센서 중 적어도 하나 이상을 포함할 수 있다.

그리고, 프로세서(20)는 감각 센서(10)로부터 전송되는 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 감각 정보는 주변 환경 정보를 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보 등을 포함함 - 를 추출한다.

이후, 프로세서(20)는 추출된 감각 정보에 대응하는 촉감각을 사용자에게 유발시키기 위하여, 감각 정보 중 제1 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 감각 정보 중 제2 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질과 이차체성감각피질을 자극하기 위한 제2 자극 신호를 생성하도록 지원한다. 이때, 제1 조건의 감각 정보는 위치 정보와 세기 정보를 포함할 수 있으며, 제2 조건의 감각 정보는 주파수 정보를 포함할 수 있다.

그리고, 뇌자극부(30)는 제1 자극 신호 및 제2 자극 신호에 대응하여 사용자의 뇌를 자극하여 뇌활성을 조절하는 것으로, 침습적 방식에 의해 뇌를 자극하거나 비침습적 방법에 의해 사용자의 뇌를 자극하여 줄 수 있다.

이때, 침습적인 방식으로는 뇌피질뇌자극기, 미세 전극 뇌자극기 등을 포함할 수 있으며, 비침습적인 방식으로는 경두개직류전기자극기, 경두개자기자극기, 초음파 뇌자극기 등을 포함할 수 있다. 그리고, 침습적 방식의 뇌자극기에서는 제1 자극 신호 및 제2 자극 신호를 유선 방식 도는 무선 방식으로 전송할 수 있다. 또한, 비침습적 방식의 뇌자극기는 탈부착에 따른 뇌자극 위치의 변화를 보정하기 위한 머리 부위의 랜드마크 기억 방식의 위치 보정 시스템을 포함할 수 있다. 그리고, 비침습적 방식에서 뇌자극을 위한 전자기 유도장치 및 초음파 발생장치는 그 자극 위치를 수동 또는 자동으로 제어할 수 있으며, 장치의 움직임 범위는 일차체성감각피질, 이차체성감각피질, 후두정엽피질, 일차운동영역, 전운동영역 등을 포함할 수 있다. 그리고, 침습적 방식 또는 비침습적 방식은 다중채널 뇌자극방식을 채용할 수 있다.

이와 같이 구성된 본 발명의 일 실시예에 따른 감각 생성 장치를 이용하여 감각을 생성하는 방법 및 장치에 대하여 도 1 내지 도 5를 참조하여 더욱 상세히 설명하면 다음과 같다.

먼저, 프로세서(20)는 감각 센서(10)로부터 전송되는 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보를 추출한다. 이때, 프로세서(20)는 감각 센서(10)로부터 전송되는 주변 환경 정보에서 사용자가 필요로 하는 정보를 기계학습 알고리즘을 이용하여 선별함으로써 감각 정보를 추출할 수 있다. 즉, 감각 센서(10)로부터 전송되는 다양한 정보 소스에서 현재 사용자가 가장 필요로 할 만한 정보를 선별하기 위하여, 분석 모델 구축을 자동화하기 위한 데이터 분석 기법의 일종으로 데이터 반복 학습 알고리즘을 이용해 데이터에 감추어져 있는 인사이트를 정확히 찾아낼 수 있도록 해주는 기계학습 알고리즘을 이용할 수 있다.

일 예로, 영상 센서와 속도 센서를 포함하는 시각 정보 센서로부터 전송되는 시각 정보에서 특정 물체에 대한 정보를 위치 정보, 세기 정보, 주파수 정보로 추출할 수 있다. 즉, 사용자로부터 물체로의 방향에 대응하는 위치 정보와 세기 정보, 물체의 속도에 대응하는 주파수 정보로 감각 정보를 추출할 수 있다.

또한, 일 예로, 음성 센서를 포함하는 청각 정보 센서로부터 전송되는 청각 정보에서 사용자로부터 청각 정보 소스로의 방향에 대응하는 위치 정보와 세기 정보, 청각 정보 소스의 소리 크기에 대응하는 주파수 정보로 감각 정보를 추출할 수 있다.

또 다른 일 예로, 적외선 센서, 자외선 센서, 및 자기장 센서 중 적어도 하나 이상을 포함하는 비감각 정보 센서로부터 전송되는 비감각 정보에 대응하는 위치 정보, 세기 정보, 또는 주파수 정보로 감각 정보를 추출할 수 있다.

이후, 프로세서(20)는 추출된 감각 정보에 대응하는 촉감각을 사용자에게 유발시키기 위하여 사용자의 뇌자극을 위한 자극 신호를 생성하도록 지원할 수 있다. 즉, 프로세서(20)는 추출된 감각 정보 중 제1 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 감각 정보 중 제2 조건의 감각 정보에 대응하여 사용자 뇌의 일차체성감각피질과 이차체성감각피질을 자극하기 위한 제2 자극 신호를 생성하도록 지원할 수 있다.

이때, 제1 조건의 감각 정보는 위치 정보 또는 세기 정보를 포함할 수 있으며, 제2 조건의 감각 정보는 주파수 정보를 포함할 수 있으며, 제1 조건과 제2 조건의 감각 정보에 대응하는 제1 자극 신호와 제2 자극 신호를 생성하도록 지원하는 방법을 예를 들어 설명하면 다음과 같다.

먼저, 도 2를 참조하면, 시각 정보에 의해 사용자 주변에 물체(m1, m2, m3)가 위치하며, 상, 하, 좌, 우, 전, 후의 6방향에 대응하는 각각의 신체 부위가 머리, 다리, 외팔, 오른팔, 가슴, 등이라 가정한다.

이때, 물체(m1)가 사용자의 전방에 위치할 경우, 프로세서는 사용자가 이를 인지할 수 있도록 하기 위한 촉감각을 생성하도록 제1 자극 신호를 생성하는 것을 지원한다.

즉, 프로세서는 사용자가 전방의 물체(m1)에 해당하는 가슴에 대응되는 촉감각을 유발하기 위하여, 도 3의 (a)와 같은 뇌자극 부위에서 일차체성감각피질을 뇌자극 위치로 설정하며, 이에 더하여 도 3의 (b)에서와 같이 일차체성감각피질의 호문쿨루스에서 가슴 부위에 대응되는 촉감각 위치를 뇌자극 위치로 설정한다. 그리고, 설정된 뇌자극 위치와 촉감각을 유발할 수 있도록 하는 뇌자극 신호의 세기를 설정함으로써 제1 자극 신호를 생성하도록 지원할 수 있다. 그리고, 뇌자극부는 제1 자극 신호에 의해 설정된 세기의 신호로 설정된 뇌의 위치에 자극 가한다. 그러면, 사용자는 뇌자극에 의해 현재 전방에 물체(m1)가 있는 것을 인지할 수 있게 된다.

또한, 물체(m2)가 사용자의 우측에 위치할 경우, 같은 방법에 의해 오른팔에 대응되는 촉감각이 생성되도록 할 수 있다.

그리고, 위치 정보, 즉, 물체(m3)가 6방향 중 어느 하나와 정확히 일치하는 방향에 대응되는 위치 정보가 아닐 경우, 프로세서는 6방향에 대응하는 각각의 신체 부위에 해당하는 일차체성감각피질에서의 적어도 2개 이상의 다중 위치가 자극되도록 상기 제1 자극 신호를 생성하도록 지원할 수 있다.

즉, 물체(m3)가 우측 전방에 위치할 경우, 촉감각 형성을 위한 뇌자극 위치가 전방에 해당하는 가슴과 우측에 해당하는 오른팔에 대응되는 도 3의 (b)에서의 호문쿨루스에서의 다중 위치가 되도록 제1 자극 신호를 생성할 수 있다.

또한, 물체(m3)에 대한 위치 정보가 6방향 중 x 방향과 y 방향에 관련되어 있고, 위치 정보가 상기 x 방향과 상기 y 방향의 사이에서 x 방향과 y 방향을 a:b 로 나누는 위치에 대응되는 위치 정보인 경우, 프로세서는 x 방향에 대응하는 신체 부위에 해당하는 일차체성감각피질에서의 자극 강도와 y 방향에 대응하는 신체 부위에 해당하는 일차체성감각피질에서의 자극 강도의 비율을 1/a : 1/b 로 인가되도록 지원할 수 있다.

즉, 물체(m3)를 인식하기 위한 사용자의 촉감각을 유도하기 위하여, 가슴에 대응되는 도 3의 (b)에서의 호문쿨루스에서의 자극 세기와 오른팔에 대응되는 도3의 (b)에서의 호문쿨루스에서의 자극 세기를 일정 비율로 다르게 함으로써 사용자가 물체(m3)에 대한 정확한 위치를 인식할 수 있도록 할 수 있다. 일 예로, 전방 0도 기준 우측으로 30도 위치일 경우 가슴과 오른팔의 상대적인 자극 세기 비율을 2:1로 설정하는 방식으로 뇌자극 세기를 설정할 수 있다.

그리고, 도 4를 참조하면, 청각 정보에 의해 사용자 주변에서 발생하는 청각 정보 소스가 위치하며, 상, 하, 좌, 우, 전, 후의 6방향에 대응하는 각각의 신체 부위가 머리, 다리, 왼팔, 오른팔, 가슴, 등이라 가정한다.

이때, 청각 정보 소스의 위치 정보 또는 세기 정보는 도 2에서의 물체에 대한 방법과 동일하게 하여 제1 자극 신호로 생성될 수 있다.

이와는 달리, 프로세서는, 청각 정보 소스의 주파수 정보인 제2 조건의 감각 정보에 대응되는 뇌의 자극 위치가, 진동 촉감각을 유도하기 위한 일차체성감각피질과 이차체성감각피질에서의 위치가 되도록 제2 자극 신호를 생성하도록 지원할 수 있다.

즉, 청각 정보 소스에 대한 소리 정보인 소리의 높낮이를 사용자가 인지할 수 있도록 하기 위하여 진동 촉감각의 생성을 유도할 수 있다.

일 예로, 저주파 자극일 경우, 일차체성감각피질에서는 뇌반응이 유발되나 이차체성감각피질에서는 뇌반응 정도가 상대적으로 적으며, 고주파 자극일 경우, 일차체성감각피질과 이차체성감각피질에서는 강한 뇌반응이 유발될 수 있다. 따라서, 일차체성감각피질과 이차체성감각피질의 다중 자극에 의해 사용자에게 저주파에 대한 촉감과 고주파에 대한 촉감을 유도할 수 있으며, 이를 통해 사용자가 소리의 높낮이를 인지할 수 있게 된다. 이때, 저주파 촉감각은 소리의 크기가 낮은 것으로, 고주파 촉감각은 소리의 크기가 높은 것으로 설정함으로써 사용자가 소리의 높낮이를 인지할 수 게 된다.

이는 뇌를 자극하는 신호의 주파수에 따른 일차체성감각피질과 이차체성감각피질에서의 반응 패턴에 차이가 나는 것을 이용하는 것으로, 도 5를 참조하면, 일차체성감각피질(S1)에서는 고주파일수록 시간에 따른 하이 감마(high-gamma) 파워의 감쇠가 두드러지게 되며, 이차체성감각피질(S2)에서는 고주파일수록 하이 감마 파워가 증가되는 것을 알 수 있다. 따라서, 저주파와 고주파 신호에 의한 뇌자극에 의해 일차체성감각피질(S1)과 이차체성감각피질(S2)에서의 하이 감마 파워의 변화를 유도함으로써 다양한 형태의 정보에 대응하는 사용자의 촉감각을 유발할 수 있게 된다.

그리고, 같은 방법에 의해 도 2에서의 물체에 대한 이동 방향과 속도 등도 주파수 정보에 대응하는 촉감각을 유발하도록 함으로써 사용자가 인지할 수 있도록 할 수 있다. 이 외에도 자외선, 적외선 등의 비감각 정보 또한 위치와 세기에 대응하는 제1 자극 신호와 주파수 정보에 대응하는 제2 자극 신호의 조합으로 뇌자극을 이용하여 사용자가 인지 가능하도록 할 수 있게 된다.

또한, 프로세서는 제2 자극 신호에 대한 생성을 지원할 때에, 일차체성감각피질과 이차체성감각피질이 동시에 자극되도록 하거나, 일차체성감각피질과 이차체성감각피질이 순차적으로 자극되도록 지원할 수 있다. 이때, 일차체성감각피질과 이차체성감각피질이 순차 자극될 경우 이차체성감각피질이 자극되는 시각이 일차체성감각피질이 자극되는 시각에 비하여 설정 시간만큼의 딜레이를 가지도록 할 수 있다. 이는 실제 촉감각 자극에 대하여 이차체성감각피질에서의 반응이 일차체성감각피질에서의 반응에 비하여 설정 시간만큼 느리게 나타나기 때문이다. 이때, 딜레이 시간은 일 예로 100ms 내지 200ms로 설정할 수 있다.

그리고, 제2 자극 신호는, 제2 조건의 감각 정보에 대응하여 사용자 뇌의 후두정엽피질을 자극하기 위한 정보를 더 포함할 수 있다. 즉, 주파수 정보에 대응하는 촉감각을 유발하기 위하여 이차체성감각피질 이외에도 도 3의 (a)에서의 뇌자극 위치에서 후두정엽피질, 일차운동피질, 보조운동영역, 또는 전운동영역을 뇌자극 위치로 설정할 수도 있다.

또한, 프로세서는 일차체성감각피질과 이차체성감각피질에서 각각의 촉감각이 생성되는 위치에 대한 맵핑 데이터를 기초로 하여 제1 자극 신호 및 제2 자극 신호를 생성하기 위한 뇌자극 위치를 결정할 수 있다.

이에 더하여, 프로세서는 맵핑 데이터를 기초로 하여 생성되는 뇌자극 위치를 사용자의 MRI(magnetic resonance imaging) 영상과 연동하여 보정할 수 있다. 즉, 맵핑 데이터에 기초한 도3과 같은 뇌자극 위치에 대한 좌표 데이터를 사용자의 MRI 영상을 기초로 하여 실제 사용자에서의 해당하는 뇌 영역의 좌표로 보정함으로써 뇌자극을 위한 정확한 위치를 결정할 수 있게 된다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

10: 감각 센서,
20: 프로세서,
30: 뇌자극부

Claims

주변 환경에 대응한 감각 생성 장치로서,
(i)감각 센서로부터 전송되는 상기 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 상기 감각 정보는 상기 주변 환경 정보를 상기 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보를 포함함 - 를 추출하고, (ii)상기 추출된 감각 정보에 대응하는 촉감각을 상기 사용자에게 유발시키기 위하여, 상기 감각 정보 중 제1 조건의 감각 정보에 대응하여 상기 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 상기 감각 정보 중 제2 조건의 감각 정보에 대응하여 상기 사용자 뇌의 상기 일차체성감각피질과 이차체성감각피질을 자극하기 위한 제2 자극 신호를 생성하도록 지원하는 프로세서; 및
상기 제1 자극 신호 및 상기 제2 자극 신호에 의해 상기 사용자의 뇌를 자극하여 주는 뇌자극부;
를 포함하는 장치.
제1항에 있어서,
상기 제1 조건의 감각 정보는, 상기 위치 정보 및 상기 세기 정보를 포함하고, 상기 제2 조건의 감각 정보는, 상기 주파수 정보를 포함하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 프로세서는,
상기 감각 정보 중 위치 정보에 대응되는 뇌의 자극 위치가, 상, 하, 좌, 우, 전, 후의 6방향에 대응하는 각각의 신체 부위에 해당하는 상기 일차체성감각피질에서의 위치가 되도록 상기 제1 자극 신호를 생성하도록 지원하는 것을 특징으로 하는 장치.
제3항에 있어서,
상기 프로세서는,
상기 위치 정보가 상기 6방향 중 어느 하나와 정확히 일치하는 방향에 대응되는 위치 정보가 아닐 경우, 상기 6방향에 대응하는 각각의 신체 부위에 해당하는 상기 일차체성감각피질에서의 적어도 2개 이상의 다중 위치가 자극되도록 상기 제1 자극 신호를 생성하도록 지원하는 것을 특징으로 하는 장치.
제4항에 있어서,
상기 프로세서는,
상기 위치 정보가 상기 6방향 중 x 방향과 y 방향에 관련되어 있고, 상기 위치 정보가 상기 x 방향과 상기 y 방향의 사이에서 상기 x 방향과 상기 y 방향을 a:b 로 나누는 위치에 대응되는 위치 정보인 경우, 상기 x 방향에 대응하는 신체 부위에 해당하는 상기 일차체성감각피질에서의 자극 강도와 상기 y 방향에 대응하는 신체 부위에 해당하는 상기 일차체성감각피질에서의 자극 강도의 비율을 1/a : 1/b 로 인가되도록 제어하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 프로세서는,
상기 감각 정보 중 주파수 정보에 대응되는 뇌의 자극 위치가, 진동 촉감각을 유도하기 위한 상기 일차체성감각피질과 상기 이차체성감각피질에서의 위치가 되도록 상기 제2 자극 신호를 생성하도록 지원하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 프로세서는,
상기 제2 자극 신호에 대한 생성을 지원할 때에, 상기 일차체성감각피질과 상기 이차체성감각피질이 동시에 자극되거나, 상기 일차체성감각피질과 상기 이차체성감각피질이 순차적으로 자극되도록 지원하는 것을 특징으로 장치.
제7항에 있어서,
상기 프로세서는,
상기 일차체성감각피질과 상기 이차체성감각피질이 순차 자극될 경우 상기 이차체성감각피질이 자극되는 시각이 상기 일차체성감각피질이 자극되는 시각에 비하여 설정 시간만큼의 딜레이를 가지도록 하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 제2 자극 신호는,
상기 제2 조건의 감각 정보에 대응하여 상기 사용자 뇌의 후두정엽피질, 전운동영역, 일차운동영역을 자극하기 위한 정보를 더 포함하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 일차체성감각피질과 상기 이차체성감각피질에서 각각의 촉감각이 생성되는 위치에 대한 맵핑 데이터를 저장하는 저장부를 더 포함하되,
상기 프로세서는,
상기 맵핑 데이터를 기초로 하여 상기 제1 자극 신호 및 상기 제2 자극 신호를 생성하기 위한 뇌자극 위치를 결정하는 것을 특징으로 하는 장치.
제10항에 있어서,
상기 프로세서는,
상기 맵핑 데이터를 기초로 하여 생성되는 상기 뇌자극 위치를 상기 사용자의 MRI(magnetic resonance imaging) 영상과 연동하여 보정하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 프로세서는,
상기 주변 환경 정보에서 상기 사용자가 필요로 하는 정보를 기계학습 알고리즘을 이용하여 선별함으로써 상기 감각 정보를 추출하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 감각 센서는,
영상 센서와 속도 센서를 포함하는 시각 정보 센서; 및
음성 센서를 포함하는 청각 정보 센서;
를 포함하는 것을 특징으로 하는 장치.
제12항에 있어서,
상기 감각 센서는,
적외선 센서, 자외선 센서, 및 자기장 센서 중 적어도 하나 이상을 포함하는 비감각 정보 센서;
를 더 포함하는 것을 특징으로 하는 장치.
제1항에 있어서,
상기 뇌자극부는,
침습적 방식에 의해 뇌를 자극하거나 비침습적 방법에 의해 뇌를 자극하도록 하는 것을 특징으로 장치.
주변 환경에 대응한 감각 생성 방법으로서,
(a) 감각 센서로부터 전송되는 상기 주변 환경 정보를 분석하여 사용자에게 제공될 감각 정보 - 상기 감각 정보는 상기 주변 환경 정보를 상기 사용자가 촉감각으로 인식하도록 지원하기 위한 위치 정보, 세기 정보, 주파수 정보를 포함함 - 를 추출하는 단계; 및
(b) 상기 추출된 감각 정보에 대응하는 촉감각을 상기 사용자에게 유발시키기 위하여, 상기 감각 정보 중 제1 조건의 감각 정보에 대응하여 상기 사용자 뇌의 일차체성감각피질의 적어도 하나의 부위를 자극하기 위한 제1 자극 신호를 생성하도록 지원하고, 상기 감각 정보 중 제2 조건의 감각 정보에 대응하여 상기 사용자 뇌의 상기 일차체성감각피질과 이차체성감각피질을 자극하기 위한 제2 자극 신호를 생성하도록 지원하는 단계;
를 포함하는 방법.
제16항에 있어서,
상기 제1 조건의 감각 정보는, 상기 위치 정보 및 상기 세기 정보를 포함하고, 상기 제2 조건의 감각 정보는, 상기 주파수 정보를 포함하는 것을 특징으로 하는 방법.
제16항에 있어서,
상기 (b)단계에서,
상기 감각 정보 중 위치 정보에 대응되는 뇌의 자극 위치가, 상, 하, 좌, 우, 전, 후의 6방향에 대응하는 각각의 신체 부위에 해당하는 상기 일차체성감각피질에서의 위치가 되도록 상기 제1 자극 신호를 생성하도록 지원하는 것을 특징으로 하는 방법.
제18항에 있어서,
상기 위치 정보가 상기 6방향 중 어느 하나와 정확히 일치하는 방향에 대응되는 위치 정보가 아닐 경우, 상기 6방향에 대응하는 각각의 신체 부위에 해당하는 상기 일차체성감각피질에서의 적어도 2개 이상의 다중 위치가 자극되도록 상기 제1 자극 신호를 생성하도록 지원하는 것을 특징으로 하는 방법.
제19항에 있어서,
상기 위치 정보가 상기 6방향 중 x 방향과 y 방향에 관련되어 있고, 상기 위치 정보가 상기 x 방향과 상기 y 방향의 사이에서 상기 x 방향과 상기 y 방향을 a:b 로 나누는 위치에 대응되는 위치 정보인 경우, 상기 x 방향에 대응하는 신체 부위에 해당하는 상기 일차체성감각피질에서의 자극 강도와 상기 y 방향에 대응하는 신체 부위에 해당하는 상기 일차체성감각피질에서의 자극 강도의 비율을 1/a : 1/b 로 인가되도록 제어하는 것을 특징으로 하는 방법.
제16항에 있어서,
상기 (b) 단계에서,
상기 감각 정보 중 주파수 정보에 대응되는 뇌의 자극 위치가, 진동 촉감각을 유도하기 위한 상기 일차체성감각피질과 상기 이차체성감각피질에서의 위치가 되도록 상기 제2 자극 신호를 생성하도록 지원하는 것을 특징으로 방법.
제16항에 있어서,
상기 제2 자극 신호에 대한 생성을 지원할 때에, 상기 일차체성감각피질과 상기 이차체성감각피질이 동시에 자극되거나, 상기 일차체성감각피질과 상기 이차체성감각피질이 순차적으로 자극되도록 지원하는 것을 특징으로 방법.
제22항에 있어서,
상기 일차체성감각피질과 상기 이차체성감각피질이 순차 자극될 경우 상기 이차체성감각피질이 자극되는 시각이 상기 일차체성감각피질이 자극되는 시각에 비하여 설정 시간만큼의 딜레이를 가지도록 하는 것을 특징으로 하는 방법.
제16항에 있어서,
상기 제2 자극 신호는,
상기 제2 조건의 감각 정보에 대응하여 상기 사용자 뇌의 후두정엽피질, 전운동영역, 일차운동피질을 자극하기 위한 정보를 더 포함하는 것을 특징으로 방법.
제16항에 있어서,
상기 (b) 단계에서,
상기 일차체성감각피질과 상기 이차체성감각피질에서 각각의 촉감각이 생성되는 위치에 대한 맵핑 데이터를 기초로 하여 상기 제1 자극 신호 및 상기 제2 자극 신호를 생성하기 위한 뇌자극 위치를 결정하는 것을 특징으로 방법.
제25항에 있어서,
상기 맵핑 데이터를 기초로 하여 생성되는 상기 뇌자극 위치를 상기 사용자의 MRI(magnetic resonance imaging) 영상과 연동하여 보정하는 것을 특징으로 하는 방법.
제16항에 있어서,
상기 (a) 단계에서,
상기 주변 환경 정보에서 상기 사용자가 필요로 하는 정보를 기계학습 알고리즘을 이용하여 선별함으로써 상기 감각 정보를 추출하는 것을 특징으로 하는 방법.
제16항에 있어서,
상기 감각 센서는,
영상 센서와 속도 센서를 포함하는 시각 정보 센서; 및
음성 센서를 포함하는 청각 정보 센서;
를 포함하는 것을 특징으로 하는 방법.
제28항에 있어서,
상기 감각 센서는,
적외선 센서, 자외선 센서, 및 자기장 센서 중 적어도 하나 이상을 포함하는 비감각 정보 센서;
를 더 포함하는 것을 특징으로 하는 방법.
제16항에 있어서,
상기 뇌자극은 침습적 방식에 의해 뇌를 자극하거나 비침습적 방법에 의해 뇌를 자극하도록 하는 것을 특징으로 방법.