KR20230094967A - 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법 - Google Patents

Abstract

본 발명의 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치는, 사용자의 두부에 장착되어 피검자에게 이명 아바타가 삽입된 VR 영상을 표시하는 디스플레이부와, 상기 사용자가 인지하는 이명을 시각화하여 상기 이명 아바타를 생성하는 가상환경 물체부와, 상기 사용자에게 상기 이명과 융합된 혼합 음향을 인지시키기 위해, 3D 음향을 생성하는 입체음향 처리부와, 상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부와, 사용자 인터페이스부로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고, 상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 이명 아바타를 제어하고, 상기 이명 아바타의 제어에 대응하여 상기 3D 음향의 출력을 변경한다.

Description

입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법{Tinnitus treatment device and system using stereophonic virtual reality interface and method of operation thereof}

본 발명은 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법에 관한 것으로, 보다 구체적으로는 인지행동치료 방식의 이명 치료 장치 및 시스템과 이의 동작 방법에 관한 것이다.

이명은 외부 소리 자극이 없는데도 귓속 또는 머릿속에서 소리는 느끼는 현상을 말한다. 이명은 청각 기관 자체에서 생기는 것(청각성)과, 근육, 혈관 등 청각 기관의 주위 구조물에 의해 청각 기관을 통해 느껴지는 것(비청각성)으로 나눌 수 있으며, 청각 기관의 손상으로 인한 청각성 이명이 대부분을 차지한다.

종래의 일반적인 이명 치료 방법으로는 소리 치료 방식이 있다. 소리 치료 방식은 외부 소음을 이용하여 이명소리를 차폐함으로써 이명에 대한 환자들의 인식이나 반응을 수정하는 데 이용된다. 소리 치료 방식은 이명 소리 전체를 자극음으로 차폐하는 완전 차폐와 자극음이 이명소리를 부분적으로 덮는 부분 차례로 나뉠 수 있다.

이러한 소리 치료는 별도의 자극음을 환자가 청취하게 하는 방식이며 하루에 상당 시간을 할애해야 하는 불편함이 있다. 또한 종래의 이명 치료 방법은 주로 치료음에 집중하는 방법에 해당하는데, 일상에서도 그 소리에 집중하는 것은 쉽지 않은 문제가 있다.

한편, 이명은 불완전한 정보임에도 뇌가 중요한 정보로 인식하는 가상현실의 한 종류로 볼 수 있다. 가상현실은 실제는 아니지만 실제라고 받아들여지도록 인간의 뇌를 자극하여 정보를 획득하는 기술로서, 이명도 외부의 소리 자극이 없음에도 불구하고 소리 자극이 있는 것처럼 인지하는 현상이므로 가상의 정보를 스스로 인지하는 환상통으로 일종으로 볼 수 있다.

이에 이명을 치료하는 방법 중 하나로써, 이명을 탐지하고자 하는 부분에서의 습관화, 이명으로 인한 괴로움에 대한 반응의 습관화를 통하는 이명 재훈련 치료에 관한 연구가 필요하다.

본 발명이 이루고자하는 기술적인 과제는, 이명에 대한 반응의 습관화를 통하는 이명 재훈련 치료를 제공하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치 및 시스템과 이의 동작 방법을 제공하는 것이다.

일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치는, 사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부; 상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부; 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부; 상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및 사용자 인터페이스부로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고, 상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경할 수 있다.

상기 VR 영상 제어부는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단할 수 있다.

상기 VR 영상 제어부는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단하면서 상기 가상환경 물체에 의한 상기 3D 음향의 출력은 유지할 수 있다.

상기 VR 영상 제어부는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄일 수 있다.

상기 3D 음향은 상기 가상 이명 물체에 의한 3D 음향과 상기 가상환경 물체에 의한 3D 음향이 융합된 혼합 음향일 수 있다.

상기 음향 출력부는, 상기 사용자의 양쪽 귀에 각각 음향을 출력하는 좌측 음향 출력부와 우측 음향 출력부로 구성될 수 있다.

상기 음향 출력부는, 상기 VR 영상 내에서 상기 사용자와 상기 가상 이명 물체간 떨어진 거리 및 상기 사용자와 상기 가상환경 물체간 떨어진 거리에 대응하여 상기 3D 음향의 시간과 음량 및 높낮이를 조절할 수 있다.

상기 입체음향 처리부는, 머리의 움직임에 따라서 음향의 시간과 음량 그리고 높낮이를 설정하는 함수인 HRTF(Head-Related Transfer Function) 기반으로 구현될 수 있다.

상기 디스플레이부는, 외부와 차단된 폐쇄형 시야 환경을 제공하는 HMD(Head Mounted Display)로 제공될 수 있다.

또한 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템은, 이명 치료 장치; 및 상기 이명 치료 장치와 네트워크를 통해 연결되어 상기 이명 치료 장치로 사용자 입력신호를 입력하는 VR 영상 컨트롤러;를 포함하되, 상기 이명 치료 장치는, 사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부; 상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부; 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부; 상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및 상기 VR 영상 컨트롤러로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고, 상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경할 수 있다.

또한 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치는, 사용자로부터 주관적 이명 정보를 획득하는 사용자 인터페이스; 상기 획득된 주관적 이명 정보로부터 상기 사용자가 인지하는 주관적 이명을 시각화하여 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체를 생성하고, 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해 3D 음향 처리를 수행하는 프로세서; 피검자에게 상기 가상 이명 물체 및 상기 가상환경 물체가 삽입된 VR 영상을 표시하고 상기 3D 음향을 출력하는 HMD; 및 상기 VR 영상 내 컨텐츠를 변경하기 위한 사용자 입력신호를 입력받고, 상기 VR 영상 내 컨텐츠 변경에 따라 그에 상응하는 촉감각을 사용자에게 전달하는 햅틱 디바이스;를 포함하되, 상기 프로세서는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경할 수 있다.

상기 프로세서는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄일 수 있다.

상기 프로세서는, 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체의 크기를 단계적으로 줄임과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄일 수 있다.

상기 가상 이명 물체의 크기가 단계적으로 줄어드는 수준과 상기 가상 이명 물체에 의한 상기 3D 음향의 출력이 단계적으로 줄어드는 수준은 서로 상응할 수 있다.

상기 햅틱 디바이스는 상기 가상 이명 물체의 크기가 단계적으로 줄어들 때 그에 상응하는 촉감각을 발생시켜 사용자에게 전달할 수 있다.

상기 햅틱 디바이스는 팬텀 햅틱 디바이스일 수 있다.

청각적 인지 작용을 함께 제어함으로써 이명 증상 완화 및 치료 효과를 얻을 수 있다.

또한 본 기술은 시청각에 촉각의 기능이 더해진, 초현실감(다중감각감)을 통한 이명 치료를 통해 이명 치료 효율을 높일 수 있다.

도 1은 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치의 개략적인 블록도이다.
도 2는 일 실시 예에 따른 이명 치료 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 주관적 이명 정보를 수신하는 구현 예를 설명하기 위한 도면이다.
도 4은 일 실시 예에 따른 이명 치료 장치를 착용한 사용자의 시점을 판단하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다.
도 6a 내지 도 6e는 다른 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다.
도 7는 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템의 도면이다.
도 8은 일 실시 예에 따른 이명 치료 실험 설정을 도시한다. (A) 환자와 임상의는 각각 HMD(Head Mounted Display)와 화면을 통해 가상 환경을 본다. 환자는 HMD 헤드폰을 통해 이명 아바타에서 공간 사운드를 듣는다. 환자는 또한 VIVE 컨트롤러를 사용하여 이명 아바타를 움직인다. (B) 하드웨어 및 소프트웨어 설정이다.
도 9은 일 실시 예에 따른 치료 세션(treatment session)을 위한 가상 환경의 예를 도시한다. 이때, 입자를 방출하는 반짝이는 물체(빨간색 원)는 이명 아바타이다. 노란색 영역은 환자에게 이명 아바타를 폐기하도록 지시하는 이명 처리 장소이다.
도 10은 일 실시 예에 따른 실험 프로토콜의 4단계를 도시한다.
도 11는 일 실시 예에 따른 가상 현실 이명 치료 장면의 예를 도시한다. 이때, 왼쪽에서 오른쪽으로 증가하는 환경 소음을 기반으로 장면을 배열했다. 참가자들은 왼쪽에서 오른쪽 순서로 장면을 경험했다.
도 12은 일 실시 예에 따른 THI 총점의 변화를 도시한다. 이때, 19명의 환자 중 12명의 환자가 THI 총점(THI, 이명 장애 목록)에서 개선을 보였다.
도 13은 일 실시 예에 따른 전전두엽 피질의 근원에 국한된 피질의 전력 차이를 도시한다. 이때, 가상 현실(VR) 이명 치료 후 알파 및 세타 주파수 대역(A) 및 세타 및 베타 2 주파수 대역(B)의 전력 수준이 증가했다.
도 14는 일 실시예에 따른 이명 치료 장치의 하드웨어 구현의 예를 도시하는 도면이다.

이하에서는, 본 발명의 가장 바람직한 실시예가 설명된다. 도면에 있어서, 두께와 간격은 설명의 편의를 위하여 표현된 것이며, 실제 물리적 두께에 비해 과장되어 도시될 수 있다. 본 발명을 설명함에 있어서, 본 발명의 요지와 무관한 공지의 구성은 생략될 수 있다. 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다. 본 명세서에 기재된 실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.

도 1은 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치의 개략적인 블록도이다.

도 1을 참조하면, 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치(이하, 간단히 '이명 치료 장치'라 함)(100)는 뇌 신경 활동의 일환으로 VR 영상과 3D 음향을 이용하여 사용자의 능동적인 참여에 의한 이명 치료 훈련을 제공한다.

이명은 외부 청각 자극이 없을 때에도 인지하는 소음의 주관적인 느낌으로서, 주관적 이명에 대한 병태생리학적 메커니즘은 청각 및 비청각 피질 또는 하위 피질 네트워크의 과활성화와 기능적 재할당에 관련이 있다. 주관적인 이명은 뇌의 한 부분의 기능적 이상이 동반될 수 있을 뿐만 아니라 뇌 네트워크 연결의 장애도 동반될 수 있고, 청각은 뇌에서 기원한다.

따라서 청각 조절 메커니즘을 설명하기 위해서는 뇌 신경 활동의 모니터링이 필요하며, 피질 수준에서 신경 행동, 특히 청각 경로의 변화를 분석하는 것은 이명 발생 및 유지와 관련된 신경 동기 및 재조직에 대한 이해를 향상시키는 데 도움이 된다.

이를 위해, 이명 치료 장치(100)는 VR 영상 제어부(110), 디스플레이부(120), 가상 이명 물체 및 가상환경 물체부(130), 입체음향 처리부(140), 사용자 인터페이스부(150), 음향 출력부(160), 및 저장부(170)를 포함한다.

VR 영상 제어부(110)는 디스플레이부(120)에서 표시되는 VR 영상의 표시 제어, 음향 출력부(160)에서 출력되는 3D 음향의 출력 제어, 사용자의 움직임에 따른 사용자의 시선 판단을 수행할 수 있으며, 가상 이명 물체 및 가상환경 물체부에 의해 생성된 이명 아바타를 VR 영상에 삽입하거나 제거할 수 있다.

본 발명이 목적하는 이명 치료 방법은 사용자의 적극적인 참여에 의한 이명 증상 제거 또는 완화를 위한 것으로서, VR 영상 제어부(110)는 사용자 인터페이스부(150)로부터 제공된 사용자 입력신호에 대응하여 VR 영상 내 컨텐츠를 변경할 수 있으며, VR 영상 내 컨텐츠 변화에 대응하여 3D 음향의 출력을 변경할 수 있다.

디스플레이부(120)는 복수의 화소들을 포함하고, 입력된 영상 데이터를 이용하여 VR(virtual reality) 영상을 표시할 수 있다. 예컨대, 디스플레이부(120)는 유기전계발광 표시 패널(Organic Light Emitting Display Panel), 액정 표시 패널(Liquid Crystal Display Panel), 플라즈마 표시 패널(Plasma Display Panel) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.

또한, 디스플레이부(120)는 외부와 차단된 폐쇄형 시야 환경을 제공하는 HMD(Head Mounted Display)로 제공될 수 있다. 즉, 이명 치료 장치(100)는 HMD 장치로서, 사용자의 두부에 장착되어 VR 영상을 표시할 수 있다. 이명 치료 장치(100)는 사용자의 두부에 착용되기 때문에, 두부의 움직임에 따른 HMD 장치의 위치 변화를 감지하여 사용자의 시선의 변화를 판단할 수 있다.

가상 이명 물체 및 가상환경 물체부(130)는 사용자가 인지하는 이명(즉, 주관적 이명)을 시각화하여 가상 이명 물체(즉, 이명 아바타)를 생성할 수 있다. 또한 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체(즉, 이명 배경)를 생성할 수 있다. 전자의 생성을 위해 가상 환경에서의 이명 잡음의 발생원에 대응하는 오브젝트의 위치/크기/회전 정보를 이용할 수 있다. 후자의 생성을 위해 가상 환경에서 발생하는 하나 이상의 소리원에 대응하는 오브젝트의 위치/크기/회전 정보를 이용할 수 있다. 이들 정보는 저장부에 저장되어 있을 수 있다.

사용자마다 인지하는 이명은 쇠긁는 소리, 벌소리, 바람소리 등 서로 상이하게 발생할 수 있다. 따라서, 사용자가 인지하는 주관적 이명에 대응하도록 (즉, 커스터마이즈화 되도록) 주파수와 음량을 일치시키는 과정이 사전에 수행될 수 있다.

한편, 일 실시예에 따르면, 가상 이명 물체 및 가상환경 물체부(130)는 사용자로부터 제공된 주관적 이명 정보를 기초로 이명 아바타를 시각화할 수도 있다. 예컨대, 사용자가 휴대폰 진동음과 같은 소음을 이명으로 느끼고 있는 경우, 가상 이명 물체 및 가상환경 물체부(130)는 진동하는 휴대폰 이미지를 이명 아바타로 생성할 수도 있다. 다만 일반적으로 사용자가 느끼는 이명은 시각 정보는 없고 청각 정보만을 가지므로 사용자로부터 이명 아바타 생성을 위한 직접적인 시각 정보를 얻기는 어려우며, 이 경우, 기설정된 이미지들 중 하나를 선택하여 이명 아바타로 설정할 수 있다.

가상 이명 물체 및 가상환경 물체부(130)에 의해 생성된 이명 아바타 및 가상환경 물체는 VR 영상 제어부(110)에 의해 VR 영상 내 기설정된 위치에 삽입되어 표시될 수 있다.

입체음향 처리부(140)는 이명 아바타의 위치 및 가상환경 물체의 위치를 사용자에게 인지시키기 위해 3D 음향 처리를 수행할 수 있다. 이를 위해, 이명 아바타의 위치 정보/회전 정보와 음향 출력부(150)를 구성하는 좌측 및 우측 음향 출력부의 위치 정보/회전 정보를 이용하여 양측의 음향 출력부의 소리의 시간과 음량 및 높낮이를 설정할 수 있다.

이를 위해 입체음향 처리부(140)는 구글 공명 사운드 소프트웨어 개발 키트(SDK)의 머리 관련 전송 기능(Head-Related Transfer Function; HRTF)으로 구현되어, 공간 이명 소리를 생성하도록 설계될 수 있다. HRTF는 머리의 움직임에 따라서 음향의 시간과 음량 그리고 높낮이를 설정하는 함수이다.

이로써, 사용자는 청각을 통해 이명 아바타의 위치 및 가상환경 물체의 위치를 동시에 인지하게 되어 뇌에서는 두가지 음향이 융합된 혼합 음향을 인지하게 된다.

실시 예에 따라, 사용자의 증상에 따라 처리되는 3D 음향의 크기는 조절될 수 있다. 또한 가상환경 물체(즉, 이명 배경)의 종류도 조절될 수 있다.

사용자 인터페이스부(150)는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 이명 치료 장치(100)의 다른 구성요소에 전달하는 기능을 수행하며, 사용자의 입력신호를 VR 영상 제어부(110)에 제공할 수 있다. 예컨대, 사용자 인터페이스부(150)는 사용자로부터 입력정보를 수신하기 위한 키보드, 조이스틱, 터치 패널 등 일련의 수단을 의미할 수 있다.

음향 출력부(160)는 사용자의 좌측 청각 및 우측 청각 각각에 개별적으로 3D 음향을 제공하기 위한 것으로서, 예컨대, 음향 출력부(160)는 사용자의 양쪽 귀를 덮는 해드셋 형태로 제공될 수 있다. 디스플레이부가 HDM인 바 음향 출력부는 그러한 HMD에 구비되는 헤드폰 내지는 스피커라 생각해도 좋다.

실시 예에 따라, 음향 출력부(160)는 사용자의 좌측 및 우측 청각 중 이명이 발생하는 반대편 청각에만 3D 음향을 출력할 수도 있다. 즉, 좌측 또는 우측 어느 한쪽에서 발생하는 3D 음향이 타측에 출력되지 않도록 구현될 수 있다. 이는 이명이 발생하는 청각 영역의 치료 효율을 높이기 위함이다.

저장부(170)는 VR 영상, 이명 아바타, 이명 배경 등을 저장하며, 플래시(flash) 메모리 등과 같은 비휘발성 메모리 또는 DRAM(dynamic RAM) 등과 같은 휘발성 메모리로 구현될 수 있으나 이에 한정되는 것은 아니다.

도 2는 일 실시 예에 따른 이명 치료 장치의 동작을 설명하기 위한 흐름도이다.

도 2를 참조하면, 이명 치료 장치(100)는 사용자 또는 보조자로부터 사용자의 이명 증상과 관련된 주관적 이명 정보를 수신하여 사용자의 이명 증상을 판단할 수 있다(S100). 여기서, 주관적 이명 정보는 사용자가 느끼는 소음 종류(예를 들어, Beebp, Buzz, Crickets, Mechanism, Ocean, Whoosh, Wind_Noise 등과 같이), 이명의 좌측 청각 또는 우측 청각에서 발생 여부(예를 들어, 양측성이명, 일측성이명 등과 같이), 발생 빈도(예를 들어, 수초 간격, 수분 간격, 계속 지속 등과 같이), 이명 크기(예를 들어, 40dB, 45dB, 50dB, 55dB, 60dB, 65dB, 70dB 등과 같이) 등에 대한 정보가 포함될 수 있다. 일종의 커스터마이징 단계이다.

주관적 이명 정보의 수신은 키보드, 조이스틱, 터치 패널 등과 같은 사용자 인터페이스를 통해 이루어질 수 있다(도 3에서 터치 패널을 통해 주관적 이명 정보를 수신하는 예가 도시된다.).

이명 치료 장치(100)는 주관적 이명 정보에 기초하여 이명 아바타 및 이명 배경을 생성할 수 있다(S110).

이명 치료 장치(100)는 이명 아바타 및 이명 배경을 VR 영상의 기설정된 위치에 삽입하여 표시하고, 이명 아바타 및 이명 배경에 대응하는 3D 음향을 출력할 수 있다(S120).

이명 치료 장치(100)는 사용자로부터 수신된 입력신호에 대응하여 VR 영상의 표시를 제어할 수 있다(S130). 예컨대, 이명 치료 장치(100)는 사용자가 VR 영상 내에서 이동을 원하는 경우, 입력신호에 대응하여 사용자의 시점이 이동된 VR 영상을 표시할 수 있다.

이명 치료 장치(100)는 기설정된 조건 만족시 VR 영상 내에서 이명 아바타를 제거하고, 동시에 해당 이명 아바타에 의한 3D 음향 출력을 중단할 수 있다(S140). 일 실시 예에 따른 이명 치료 방법은 사용자에게 소음을 제공하고 중단하는 수동적으로 훈련이 아닌, 사용자의 능동적인 참여에 의해 이루어진다.

여기서, 기설정된 조건은 사용자가 VR 영상 내에서 이명 아바타의 위치를 찾아 이동하고, 사용자 인터페이스를 통해 이명 아바타를 휴지통 오브젝트에 투입하거나 임의의 조작을 수행하는 등으로 설정될 수 있다.

즉, 이명 치료 장치(100)는 사용자의 능동적인 작위 동작에 의해 기설정된 조건이 만족되면, VR 영상 내에서 이명 아바타를 제거함과 동시에 해당 이명 아바타에 의한 3D 음향 출력을 중단할 수 있고, 이로써 사용자는 시각적 이명 차단 효과 및 청각적 이명 차단 효과를 동시에 얻을 수 있다.

도 4은 일 실시 예에 따른 이명 치료 장치를 착용한 사용자의 시점을 판단하는 방법을 설명하기 위한 도면이다.

도 4을 참조하면, HMD 장치로 구현된 이명 치료 장치(100)는 사용자의 두부에 착용되기 때문에, 이명 치료 장치(100)의 움직임에 따라 사용자의 시선(AR)의 변화를 추정할 수 있다. 기본적으로 HMD 장치는 센서모듈을 탑재하고 있으며, 센서모듈은 HMD 장치의 움직임을 감지하여 x 좌표, y 좌표, z 좌표, 피치, 롤 등의 정보로 출력할 수 있다.

HMD 장치는 출력된 정보를 기초로 시선(AR)의 방향을 검출하고, 시선(AR)에 대응하는 배경영상을 구성할 수 있으며, 배경영상은 HMD 장치가 제공하는 시야각에 따라 달라지는데, 이러한 시야각은 HMD 장치의 프로젝터 및 광학계의 사양에 따라 달라질 수 있다.

따라서 HMD 장치는 센서모듈로부터 출력된 정보를 기초로 초점(Focus Point)으로부터 시선의 방향(Direction of View: DoV)을 구하고, 그 시선(AR)의 중심으로부터 영사모듈이 제공 가능한 시야각(Field of View angle: FoV)에 따라 가상공간에서 배경영상을 구현할 수 있다.

도 5는 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 이명 치료 장치(100)는 이명 아바타(OB) 및 이명 배경(SB1, SB2, SB3)이 포함된 VR 영상(IM)을 표시할 수 있다. VR 영상에는 사용자가 가상 환경을 실제 환경과 같이 느낄 수 있도록 배경 영상(BI)이 표시되며, 이명 아바타(OB)는 배경 영상에서 위화감을 주지 않는 객체로 표시될 수 있다. 이명 배경에 해당하는 오브젝트들(SB1, SB2, SB3)은 사용자에게 주관적 이명과의 융합 음향을 인지하도록 하며 사용자가 이명 아바타(OB)를 찾는 과정에 난이도를 상승시켜 치료 효과를 높일 수도 있다.

이명 치료 장치(100)는 VR 영상을 표시함과 동시에 3D 음향을 출력하며, 사용자와 이명 아바타(OB) 사이의 거리 및 사용자와 이명 배경(SB1, SB2, SB3) 사이의 거리, 사용자의 시점에 따른 좌측 청각 또는 우측 청각의 민감도를 고려하여 3D 음향의 출력을 제어할 수 있다.

이명 치료 장치(100)에 의한 이명 치료 방법은 사용자의 적극적인 참여에 의한 이명 증상 제거 또는 완화를 위한 것이어서, 이명 치료 장치(100)는 사용자에게 VR 영상 내에서 이명 아바타(OB)를 찾도록 임무를 부여하게 되며, 사용자는 사용자 인터페이스부(150)를 통해 입력신호를 제공하여 VR 영상의 표시를 변경할 수 있다.

만약, 사용자가 앞으로 전진하도록 사용자 입력신호를 제공하는 경우, 이명 치료 장치(100)는 전방으로 전진된 시점의 VR 영상(IM')을 표시할 수 있다. 시점이 이동됨에 따라 VR 영상이 변화되고, 3D 음향의 출력도 변경된다. 즉, 이명 치료 장치(100)는 3D 영상 내에서 사용자가 이명 아바타(OB) 및/또는 이명 배경(SB1, SB2, SB3)에 가까워질수록 해당 이명 아바타에 의한 3D 음향의 출력 및/또는 해당 이명 배경에 의한 3D 음향의 출력을 높이게 된다. 예를 들어, IM에서 IM'으로 변화되면 이명 아바타(OB)에 의한 3D 음향은 좌우 공통적으로 커지고 이명 배경(SB3)에 의한 3D 음향은 좌우 모두가 커지되 좌측이 보다 커지며, 이명 배경(SB1, SB2)에 의한 3D 음향은 매우 작거나 소멸될 수 있다.

이명 치료 장치(100)는 사용자 입력신호에 대응하여 이명 아바타(OB)를 제어할 수 있는데, 만약 사용자가 VR 영상 내에서 이명 아바타(OB)를 휴지통 오브젝트(TS)에 넣는 방식으로 제거하는 경우 해당 이명 아바타(OB)에 의한 3D 음향 출력을 중단하게 된다. 중단 대신에 그 음향 출력 매우 작게 줄이는 실시예도 가능하다. 한편, 제거되지 않은 이명 배경(SB1, SB2, SB3)에 의한 3D 음향 출력은 중단되지 않고 해당 위치 정보/회전 정보에 맞는 3D 음향 출력이 지속됨을 주목한다.

도 6a 내지 도 6e는 다른 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 방법을 설명하기 위한 도면이다. 상술한 도 5에서와의 차이점을 위주로 설명한다.

도 6a를 참조하면, 이명 치료 장치(100)는 이명 아바타(OB), 이명 배경(SB1, SB2, SB3), 및 배경 영상(BI)이 포함된 VR 영상(IM)을 표시하며, 이명 아바타에 의한 3D 음향과 이명 배경에 의한 3D 음향이 융합된 혼합 음향인 3D 음향의 출력을 제어할 수 있다. 이때, 이명 아바타(OB)는 배경 영상(BI)에서 랜덤의 위치에 등장할 수 있다.

만약, 사용자가 시점을 변경하여 이명 아바타(OB)를 일정시간(일례로 5초) 이상 주시하는 사용자 입력신호를 제공하는 경우, 이명 치료 장치(100)는 이명 아바타(OB)를 영상 내 가상의 도구(VS)로 붙잡아 가운데 놓은 듯한 상태로 표시할 수 있다(도 6b에서 도 6a 대비 더 큰 형태로 이명 아바타(OB_E)가 도시된다). 이 상태에서는 이명 아바타의 위치 변경(랜덤의 위치 -> 가운데)에 따라 이명 아바타에 의한 3D 음향의 출력을 높이게 된다(도 6b에서 3D 음향의 출력을 파형으로 나타내는 그래픽 인터페이스(W)가 도시되며, 도 6a 대비 파형이 더욱 커졌음을 확인할 수 있다). 한편, 이명 아바타만 붙잡아 가운데 놓았으므로, 이명 배경에 의한 3D 음향은 원래 상태로 유지될 수 있다.

이명 치료 장치(100)는 사용자 입력신호에 대응하여 이명 아바타(OB_E)를 제어할 수 있는데, 만약 사용자가 VR 영상 내에서 가상의 도구(VS)로 이명 아바타(OB_E)의 테두리를 깎아내는 방식으로 적어도 부분적으로 제거하는 경우 해당 이명 아바타(OB_E)에 의한 3D 음향 출력도 그에 맞게 줄어들게 된다(도 6c에서 도 6b 대비 테두리가 깎아져서 작아진 이명 아바타(OB_E_SD)가 도시되며, 3D 음향 출력 파형(W)도 도 6b 대비 진폭이 줄었음을 확인할 수 있다).

이때, 깎아내는 과정을 사용자에게 직관적으로 전달할 수 있도록 도 6d에 도시된 바와 같이 가상의 도구(VS)에 의해 이명 아바타의 테두리가 찌그러져 표시될 수도 있고(OB_E_WP로 참조됨), 또한, 3D 음향 출력 파형도 불규칙해져 깎는 소리를 재현한 것과 같은 음향을 출력할 수도 있다(W_WP로 참조됨).

일 실시예에 따라, 총 세 단계로 깎아내는 방식으로 제거하는 경우라면, 가상의 도구를 이용해 이명 아바타의 테두리를 1차로 깎아낸 경우 기존보다 크기가 한 단계 줄어든 상태의 이명 아바타가 표시되고 이와 함께 이명 아바타에 의한 3D 음향 출력도 그에 맞게 한 단계 줄어든다. 계속하여 가상의 도구를 이용해 이명 아바타의 테두리를 2차로 더 깎아낸 경우 기존보다 크기가 한 단계 더 줄어든 상태의 이명 아바타가 표시되고 이와 함께 이명 아바타에 의한 3D 음향 출력도 그에 맞게 한 단계 더 줄어든다. 이어서 가상의 도구를 이용해 이명 아바타의 테두리를 3차로 깎아낸 경우 기존보다 크기가 한 단계 더 줄어든 상태의 이명 아바타가 표시되고 이와 함께 이명 아바타에 의한 3D 음향 출력도 그에 맞게 한 단계 더 줄어든다. 3D 음향 출력이 1차에서 3차로 단계별로 줄어드는 정도는 사용자가 자신의 작위에 의해(즉, 가상의 도구를 움직임으로써) 이명이 줄었음을 인지할 수 있도록 충분한 수준으로 줄어드는 것이 바람직하다(일례로 최초 70dB, 1차로 줄어들었을 때 50dB, 2차로 줄어들었을 때 30dB, 3차로 줄어들었을 때 10dB와 같이).

한편 상술한 가상의 도구(VS)는 햅틱 디바이스 또는 팬텀 햅틱 디바이스(200, 도 6e 참조)와 연동된 것일 수 있다. 이로써, HMD를 착용한 사용자는 HMD를 통해 머리의 움직임에 따른 시청각 정보를 제공받으면서 팬텀 햅틱 디바이스를 이용해 자신의 작위에 의해 상술한 가상의 도구를 움직이게 할 수 있다. 또한, 사용자는 이명 아바타를 깎아낼 때 직접 깎아내는 듯한 촉감각을 팬텀 햅틱 디바이스를 통해 전달받을 수 있다. 이는 촉각의 기능이 더해진, 초현실감(다중감각감)을 통한 이명 치료를 가능하게 한다.

이와 같이 일 실시 예에 따른 이명 치료 장치(100)는 사용자에게 소음을 제공하고 중단하는 수동적으로 훈련이 아닌, 사용자의 능동적인 참여에 의해 이루어지고 또한 사용자와 양방향 인터렉티브를 통해 이루어져 이명 치료 효율을 높일 수 있다.

도 7는 일 실시 예에 따른 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템의 도면이다.

도 7를 참조하면, 사용자는 이명 치료 장치(100)에 탑재된 사용자 인터페이스부(150, 도 1)를 통해 사용자 입력신호를 입력할 수 있지만, 별도의 VR 영상 컨트롤러(200)를 통해 사용자 입력신호를 이명 치료 장치(100)에 제공할 수 있다. 도 1에서 상술한 사용자 인터페이스부에 더하여 또는 그에 대체하여 별도의 VR 영상 컨트롤러가 존재하는 것으로 생각해도 좋다.

VR 영상 컨트롤러(200)는 사용자의 전, 후 이동을 위한 버튼, 이명 아바타를 휴지통 오브젝트에 넣거나 던지는 등의 작위를 표시하기 위한 버튼을 포함할 수 있으나, 이에 한정되는 것은 아니며 사용자의 입력정보를 수신하기 위한 일련의 수단을 포함할 수 있다. VR 영상 컨트롤러는 일례로 사용자의 손의 움직임을 입력으로 전달 및 사용자에게 특정 촉감각을 출력으로 제공할 수 있는 햅틱 디바이스 또는 팬텀 햅틱 디바이스일 수 있다.

VR 영상 컨트롤러(200)와 이명 치료 장치(100)는 유선 또는 무선 통신을 통해 데이터를 송수신할 수 있으며, 예컨대 근거리 통신(블루투스, 와이파이 등과 같이)을 통해 데이터를 주고 받을 수 있다.

이와 같이, 일 실시예에 따르면, 가상현실 내에 보고 있는 사용자(환자)는 가상환경에서 이명 치료음이 들리는 가상물체를 입체음향(즉, 3D 음향)을 통해서 확인 가능하다. 즉, 이명의 가상물체는 시각적인 가상물체를 통해서 확인이 가능하고, 입체음향을 통해서 위치를 확인할 수 있는 인터페이스가 제공된다.

상술한 바와 같이, 입체음향 가상현실 인터페이스는 가상 환경에서의 이명 잡음의 발생원에 대응하는 오브젝트의 위치/크기/회전 정보와 가상 환경에서 발생하는 소리원에 대응하는 오브젝트의 위치/크기/회전 정보를 가지고 있는 가상 이명 물체 및 가상환경 물체부, 가상 이명 물체의 위치 정보/회전 정보와 양측(좌측, 우측)의 음향 출력부의 위치/회전 정보를 받아서 양측의 음향 출력부의 소리의 시간과 음량 그리고 높낮이를 설정하는 입체음향 처리부, 및 상기 입체음향 처리부에서의 음향 설정값을 양측 음향 출력부에 음향과 상기 가상 이명 물체 및 가상환경 물체부의 시각 정보를 디스플레이부에 출력되는 영상을 제어하는 VR 영상 제어부를 포함할 수 있다.

이로써, 입체음향 가상현실 인터페이스는 가상 이명 물체 및 가상환경 물체의 위치/크기/회전 정보 변화에 따라서 입체음향 처리부가 실시간으로 음향의 시간과 음량 그리고 높낮이를 계산할 수 있다. 머리의 움직임에 따라서 음향의 시간과 음량 및 높낮이를 설정하는 함수인 HRTF 기반으로 제작한 입체음향 소프트웨어가 적용될 수 있다. 가상 이명 물체 및 가상환경 물체의 위치/크기/회전 정보가 검출되어 움직여지거나 다른 가상 물체로 인해 변화할 수 있다. 양측의 음향 출력부의 위치/회전 정보가 사용자의 머리의 움직임에 따라서 달라질 수 있다. 가상 이명 물체 및 가상환경 물체의 변화된 위치/크기/회전 정보가 디스플레이부로 영상 및 양측의 음향 출력부로 음향을 출력할 수 있다.

이를 위한 입체음향 가상현실 인터페이스는 다음의 핵심적인 구성으로 수행될 수 있다. 첫째, 컴퓨터 및 가상현실 기기는 사용자가 가상의 이명 물체 및 음향을 발생시키는 가상물체를 시각적으로, 청각적으로 가상 이명 물체와 가상현실 물체를 출력하고 가상의 위치에 이명 물체가 생성되도록 연산한다. 이를 통해서 가상현실의 음향을 가상 물체로 시각화를 할 수 있고, 청각적으로 가상의 위치에 가상물체가 있는 듯한 몰입감을 준다. 둘째, 입체음향 소프트웨어는 사용자의 위치와 가상 이명 위치를 계산하여 청각적으로 위치를 알 수 있게 양측 음향 출력부의 음향을 연산한다. 이를 통해서 가상 이명 물체의 위치를 청각적으로 인지할 뿐만 아니라 실제로 이명이 특정 위치에서 들리도록 만들어서 가상현실의 몰입감을 높인다.

<실험예>

본 연구에서는 만성 주관적 이명 환자에서 VR의 가능성을 평가했다. 임상적 이점에 대한 평가는 VR 기반 완화 프로그램에 환자가 참여한 후 6-8주 후 환자 뇌파도(electroencephalogram; EEG) 분석과 설문 응답을 기반으로 수행되었다. 임상 시험은 고등 교육 병원에서 수행되었다. 3개월 이상 만성 주관적 이명으로 병원을 찾은 19명의 환자(33-64세)가 연구에 등록되었다. 개입(intervention)은 VR에서 이명 아바타를 폐기하는 것으로 구성되었다. 환자들이 본 개입을 통해 이명을 통제하는 주관적인 느낌을 가질 것으로 기대했다. VR 환경은 침실, 거실, 레스토랑 및 도시 거리의 네 가지 설정에서 네 가지 세션으로 구성되었다. 표준화된 저해상도 뇌 전자 단층 촬영을 사용하여 이 환자의 이명과 관련된 전두엽 영역의 근원 활동 변화를 분석했다. VR 기반 이명 치료 프로그램 후 이명 핸디캡 인벤토리(Tinnitus Handicap Inventory; THI), 총점(50.11에서 44.21, P = 0.046) 및 등급(3.16에서 2.79, P = 0.035)이 유의하게 향상되었다(P < 0.05). Pittsburgh Sleep Quality Index도 개선된 결과를 보였다(P = 0.025). 반면, 이명 장애 설문지(Tinnitus Handicap Questionnaire), 삶의 질 평가(Quality of Life Assessment; WHO-QOL), HAD척도(Hospital Anxiety and Depression Scale), 기분 상태 프로필(Profile of Mood States)에서는 중재 후 큰 변화가 없는 것으로 나타났다. 기준선 EEG 데이터는 안와전두피질의 뇌 활동이 알파 및 세타 주파수 대역에서 유의하게 증가함을 보여주었다. 또한 중재 후 THI 점수가 개선된 환자는 안와전두피질의 세타 및 높은 베타 밴드에 대한 뇌 활동의 특정 증가를 보였다. 본 연구 결과는 인지 행동 치료의 일부에서와 같이 가상 현실 기반 프로그램이 만성 주관적 이명 환자의 이명 관련 고통을 완화하는 데 도움이 될 수 있음을 시사한다.

가상 현실(VR) 시스템은 360° 시각 디스플레이, 공간 음향 음향 및 햅틱 피드백을 통해 사용자에게 존재감과 몰입감을 제공할 수 있다. 이러한 현실적인 사용자 경험은 VR이 실행 가능한 임상 치료 방법이 될 수 있음을 시사한다. 본 연구에서는 VR 환경에서 이명 소리를 발생시키는 물체(VR 아바타)를 환자가 조작하고 제거할 수 있도록 함으로써 이명 완화로 이어질 수 있는 제어감을 제공하는 것을 목표로 하였다. 환자가 이명 아바타를 가리키고 탐색하는 것에서 더 나아가 이명 아바타를 잡아서 쓰레기통에 던져 실제로 제거하고 있다. 따라서 환자는 이명 아바타를 지우면 이명을 조절할 수 있다고 느끼게 된다.

실험이 완료된 후 설문지, 뇌파도(electroencephalogram; EEG) 및 표준화된 저해상도 뇌 전자 단층 촬영(standardized low-resolution brain electromagnetic tomography; sLORETA)을 사용하여 이명 환자 치료를 위한 이 VR 기반 중재의 효과를 평가했다. 프로그램 전후에 수집된 참가자의 EEG 데이터 분석을 통해 청각 및 비청각 피질 또는 피질하 네트워크의 변화 요인을 평가할 수 있었다. 이 과정을 통해 본 연구에서는 VR이 이명 및 관련 증상을 줄이기 위한 선택 치료법으로 유용성을 판단하고자 했다.

방법

환자 및 설문지

이명을 주증상으로 내원한 환자(19~80세) 중 만성 비박동성 이명이 3개월 이상 지속되고 모국어로 원활한 의사소통이 가능하며 연구 참여에 동의한 환자를 선정하였다. 직업 또는 취미 활동으로 소음에 자주 노출되는 환자와 HMD 기반 VR 프로그램 운영에 어려움이 예상되는 환자는 제외하였다. 최종적으로 이명 환자 19명(남성 9명, 여성 10명)이 본 연구에 참여하였다.

환자의 병력, 인구통계학적 정보, 건강검진, 활력징후(혈압, 심박수, 체온, 호흡수), 체중, 키, 일상생활능력을 포함한 신체검사를 이에 따라 평가하였다. 또한 연구 전 이명, 신경학적, 심리적인 문제를 제외하고 이명과 관련된 기저질환 및 치료 이력을 확인한 후, 이들 환자들에 대해 실험 전후 청력도 및 이명 증상을 함께 조사하여 불필요한 편향과 관련된 사례를 배제하였다.

이명 관련 고통의 중증도와 관련된 THI, THQ, 시각 수치 척도(visual numeric scale; VNS)를 포함하는 이명 자체에 대한 설문지를 통해 실험 전후 환자 상태를 평가하였다. 이는 결과 측정으로 설계된 것은 아니지만 이명이 일상 생활에 미치는 영향을 평가하는 간단하고 쉽게 관리할 수 있는 심리 측정학적으로 강력한 측정이며 국가 의료 시스템에서 널리 사용된다. 이명을 동반한 우울증, 불안, 수면장애에 대한 PSQI, WHO-QoL, POMS, HADS 등 이명 관련 증상에 대한 설문지를 작성하였다. 또한 VR 시스템 사용 후 발생할 수 있는 실험 후 환자의 증상을 평가하기 위해 시뮬레이터 질병 설문지(simulator sickness questionnaire; SSQ)를 시행하였다.

실험 프로토콜

먼저, 주파수와 음량을 일치시켜(by matching the frequency and loudness) 각 환자의 주관적 이명(subjective tinnitus)을 모방하도록 이명 아바타(tinnitus avatar)를 만들었다. 신호에 의해 확립된 인지된 이명(perceived tinnitus)의 음향 모델링(acoustic modelization)은 환자의 이명 지각의 스펙트럼 및 강도(spectrum and intensity)와 일치한다. 이것은 주관적 이명(subjective tinnitus)과 반대쪽 귀(contralateral ear)에 제시된 일치하는 자극(the matched stimulus) 사이에 융합 과정이 발생할 수 있음을 나타낸다. 메인 트리트먼트 세션(main treatment session) 전에 튜토리얼 세션(tutorial session)이 진행되었다. 이명 아바타는 구글 공명 사운드 소프트웨어 개발 키트(software development kit; SDK)의 머리 관련 전달 함수(head-related transfer function; HRTF)로 구현된 공간적 이명 사운드(spatial tinnitus sounds)를 생성하도록 설계되었다. 참가자들은 VR 환경에서 이동하는 방법과 이명 아바타를 처리하는 작업을 수행하는 방법을 배웠다(도 8). 이명 아바타는 HRTF를 사용하여 5가지 유형(휘파람, 치찰음, 포효, 허밍 및 울리는 소리)의 3D 이명 소리를 생성했다. 참가자들은 이명 아바타를 찾기 위해 청력을 사용해야 했다. 참가자는 왼쪽 VIVE 컨트롤러에 있는 트랙패드의 상단과 하단을 눌러 가상 환경에서 이동할 수 있다. 일정 거리 이내에 접근하면 이명 아바타를 볼 수 있었다. 오른쪽 VIVE 컨트롤러의 트리거 버튼을 눌러 이명 아바타를 잡고 있을 때 아바타의 색상이 변경되고 오른쪽 VIVE 컨트롤러에 진동 피드백이 생성되어 참가자에게 이명 아바타를 캡처했음을 알렸다. 그런 다음 참가자들은 가상 환경 장면에서 이명 아바타를 이명 처리 장소로 이동했다(도 9). 이명 아바타를 버리자 이명 소리가 급격히 줄어들었다. 이명 VR 중재 세션(tinnitus VR intervention sessions)을 위해 각 도시의 거리, 식당, 거실 및 침실 장면에 대해 두 세트의 가상 환경이 개발되었다. 이명 처리 장소는 각 가상 세트의 시끄러운 장면에 배치되어(즉, 침실 입구, 거실의 텔레비전 옆, 식당의 주문 카운터, 도시 거리의 자동차 후드), 이명 소리를 훨씬 더 큰 환경 소음(environmental noises)으로 흡수하는 인지적 환상(cognitive illusion)을 만들었다. 각 치료 세션 동안 세 차례의 이명 아바타 처리 작업이 수행되었다.

환자들은 병원을 4번 방문했고 1~2주마다 VR 이명 중재(VR tinnitus intervention)를 경험했다(도 10). 실험 참여에 동의한 사람들은 첫 방문에서 내시경적 고막 검사와 청력/이명 검사를 받은 후 설문지를 받았다. 그들은 첫 번째 방문부터 세 번째 방문까지 총 3개의 세션 동안 VR 이명 중재 시스템을 경험했다. 첫 방문 동안 VR 이명 중재 시스템을 경험하기 전에 뇌파 상태를 확인하기 위해 뇌파 검사를 받았다. 첫 번째 세션(도시 거리)에 이어 튜토리얼 세션이 이어졌다. 참가자들은 두 번째 방문에서 두 번째(식당 장면) 및 세 번째(거실 장면) 세션을 모두 수행했다. 그들은 세 번째 방문에서 네 번째 세션(침실 장면)을 수행했다. 세션은 시퀀스를 진행하면서 환경 소음의 볼륨을 줄이도록 배열되었다(도 11). 네 번째 세션이 끝난 후 참가자들은 SSQ 설문지와 EEG 테스트를 받았다.

sLORETA를 사용한 소스 현지화

본 연구에서는 EEG 데이터를 기반으로 하는 두피 기록 활동에서 뇌내 전기 소스를 분석할 수 있는 sLORETA 소프트웨어를 사용했다. EEG 데이터를 사전 처리하고 참가자당 30개의 에포크를 준비했다. 이 에포크는 6개의 주파수 대역(델타, 1-4Hz; 세타, 4-8Hz; 알파, 8-12Hz; 낮은 베타, 12-18Hz; 높은 베타, 18-30Hz; 및 감마, 30-55Hz)에 대해 분석되었다. sLORETA에서 소스 이미지는 6239개의 복셀(크기 5 Х 5 Х 5mm) 집합으로 공간적으로 모델링되었다. 이 층들은 편도체, 해마 및 피질 회백질에서 얻은 것이다. sLORETA 데이터는 디지털화된 몬트리올 신경학 연구소(Montreal Neurological Institute; MNI) 152 좌표를 Talairach 좌표로 재구성한 것을 기반으로 했다.

이명에 대한 이전 문헌을 기반으로 전두엽 영역에서 10개의 ROI를 선택했다. 각 ROI는 하나 또는 두 개의 Brodmann 영역으로 구성되었다(표 1: 선택된 RIO 및 BA). 또한 SPSS를 사용하여 각 ROI에 대한 현재 소스 밀도를 비교했다.

결과

1차 결과 측정은 실험 전후 환자 상태 및 이명과 관련된 증상에 대한 설문 결과였다. 탐색적 결과 측정은 10개의 ROI에 대한 현재 소스 밀도였다. SSQ를 이용한 VR 멀미(VR sickness)에 대한 설문 결과는 또 다른 척도를 제공했다.

통계 분석

기술 통계는 결과를 분석하는 데 사용되었다. THI 점수 및 이명 등급의 개선은 치료 전 측정치에 대한 차이의 변화를 이용하여 보고하였다. 처리 전 및 처리 후 차이는 절대값을 사용하여 보고되었다. 설문지에서 발견된 차이의 통계적 유의성은 Wilcoxon 부호 순위 검정(Wilcoxon signed-rank test)을 사용하여 평가되었다. 치료 전과 후의 절대값은 각 참가자에 대해 쌍을 이루었고 통계적 유의성은 p가 0.05 미만인 것으로 간주하였다. 모든 데이터는 SPSS(버전 20.0; SPSS, Chicago, Illinois, USA)를 사용하여 분석되었다. 또한 ROI 분석에서 치료 전후의 EEG 데이터 차이에 대해 THI 점수로 구분된 하위 그룹에서 치료 전과 치료 후의 EEG 데이터 사이의 Wilcoxon 부호 순위 테스트와 Mann-Whitney U 테스트를 수행했다. (THI < 0: n = 12, THI ≥ 0: n 7). 본 연구에서는 이명 관련 고통의 개선을 탐색적 수준에서 반영할 수 있는 잠재적인 EEG 지표를 조사하기 위해 다중 비교 보정을 수행하지 않고 유의 수준을 0.050으로 간주하였다.

결과

환자 인구 통계 및 임상 특징

비박동성 이명을 가진 19명의 환자가 이 연구를 위해 선택되었다. 평균 참가자 연령은 56.40(± 8.19)세였다. 참가자들은 평균 7.34년 동안 이명 증상을 경험했다. 양쪽에서 각각 8명의 환자, 좌측에서 8명, 우측에서 3명의 환자가 이명을 경험하였다. 이명 음량의 평균은 5.42 SL(sensation level; 감각 수준)이었다. 모든 유형의 이명을 배제하지 않고 연구했다. 환자 중 누구도 메니에르병, 고막 관련 질병 또는 기타 신경학적 상태가 없었다. 정신 질환이 있는 환자는 연구에서 제외되었다(표 2: 환자 인구 통계 및 임상 특징).

연구 참가자에게 제공된 설문지 분석

참가자들은 VR 프로그램에 참여하기 전과 후에 동일한 이명 관련 설문지를 작성했다. 이명은 이명과 밀접한 관련이 있는 THI와 PSQI에 근거한 치료 후 호전되었다. THI 기능 점수(P = 0.005), 총점(P = 0.046), 등급(P = 0.035)에서 통계적으로 유의한 차이가 관찰되었다(표 3: 연구 참가자에게 실시된 설문지 결과. THI: 이명 장애 목록; PSQI: 피츠버그 수면 질 지수; THQ: 이명 장애 설문지; WHO-QoL: 세계보건기구 삶의 질 평가; HADS: 병원 불안 및 우울증 척도; POMS: 기분 상태의 프로필). 도 12은 프로그램 전후에 개인의 총 THI 점수 변화에 따른 이명 완화 효과를 보여준다. 통계적으로 유의한 변화와 달리 임상적으로 의미 있는 변화는 THI33에 대해 최소 7점을 포함하는 것으로 정의되었다. 본 샘플에서 19명의 환자 중 6명이 이 역치를 충족했다(37%). 그러나 THI 점수와 PSQI 사이에는 상관 관계가 없었다. 이명과 관련된 증상을 평가하기 위한 도구인 다른 설문지는 통계적으로 유의한 차이를 보이지 않았다.

SSQ34의 경우 총 점수는 다음 공식을 사용하여 계산되었다. 총 점수 = 메스꺼움 점수 + 안구 운동 점수 + 방향 감각 상실 Х 3.74). 본 시스템의 메스꺼움, 안구 운동, 방향 감각 상실 및 총점은 각각 48.20, 58.25 및 74.73이었다(표 4: SSQ에서 파생된 메스꺼움, 안구 운동, 방향 감각 상실 및 총 점수의 분석. sd: 표준 편차). 가중치 적용 후 총점은 32.81점이었다.

EEG 데이터 분석

VR 기반 이명 중재술 이전의 뇌파 데이터와 비교하여 소스 위치 분석 결과를 바탕으로 VR 이후의 뇌파 데이터를 분석하고 이에 따른 전전두피질의 ROI를 비교하였다. 안와전두피질(OFC)의 ROI에서 상당한 차이가 관찰되었다. 그 결과, 좌안와전두피질(OFC, 10 L, 11 L)에서 VR 치료 프로그램 후 모든 환자에서 알파(P=0.030)와 세타(P=0.040) 밴드가 유의하게 증가한 것으로 나타났다(도 13). 구체적으로, THI 점수가 개선된 환자군에서 좌측 OFC(10L, 11L)에서 세타(P=0.003)와 높은 베타(P=0.005)의 유의한 증가가 확인되었다.

또한 각 밴드의 변화에 대해 THI 점수가 개선된 환자군과 THI 점수가 개선되지 않은 환자군을 비교 평가하였다. 그 결과 THI 점수(THI < Grade 2, THI > Grade 3)를 기준으로 분리된 환자군(THI < Grade 2, THI > Grade 3)에서 왼쪽 OFC(10 L 및 11 L)의 세타(P = 0.007)와 높은 베타(P = 0.001) 대역에서 통계적으로 유의한 차이를 보였다.

또한 THI 점수의 변화가 특정 밴드의 근원 활성도 변화와 상관관계가 있는지 여부를 알아보기 위해 모든 환자군에서 비모수적 상관관계 분석을 시행한 결과 왼쪽 OFC에서(r = - 0.627, P = 0.004) THI 점수의 변화와 높은 베타 대역의 증가 간에 유의한 음의 상관관계가 있음을 확인하였다. 동일한 과정을 통해 세타 밴드를 분석한 결과, 좌측 OFC에서(r = - 0.490, P = 0.033) THI 점수와 ta 밴드 값 사이에 유의한 상관관계가 있음을 확인하였다. THI의 하위 척도에 대한 자세한 분석에서 THI 감정 점수와 왼쪽 OFC의(r = - 0.494, P = 0.032) 세타 값 사이에 유의한 상관 관계가 있음을 발견했다.

또한, THI 점수가 개선된 환자 그룹, 왼쪽 OFC 영역의 알파(P = 0.028), 낮은 베타(P = 0.012) 및 감마(P = 0.015) 밴드는 치료 프로그램 후에 유의했다. 유사한 변화가 알파(P = 0.041) 및 세타(P = 0.023) 밴드의 오른쪽 OFC 영역에서 발견되었다. 또한 THI가 개선된 하위 그룹에서 왼쪽 sgACC 영역에서 실험을 수행한 환자 그룹의 변화를 관찰했다. THI가 개선된 환자군에서 분석한 결과, 세타(P = 0.023) 및 감마(P = 0.028) 밴드가 이에 따라 이 영역에서 증가하는 경향이 있었다.

논의

본 연구는 이명환자의 행동인지치료의 일부인 VR 기반 심리 중재의 가치를 시각적, 청각적, 촉각적 현실감이 높은 VR 시스템을 이용하여 평가하였다. 본 연구에서는 이 방법이 중증 이명 환자의 회복에 사용될 수 있다는 가정에서 시작했다. 설문지에 대한 본 분석은 VR 기반 개입이 이명 및 관련 증상을 완화시키는 것으로 나타났다. THI 및 PSQI 점수는 특히 총점, 등급 및 기능 상태에서 상당한 개선을 보였다. 이명 관련 고통의 정도를 측정하고 심리적 고통을 예측하는 데 유용한 THI는 개인에 따라 다르지만 총 19명의 환자 중 12명의 환자에서 점수가 향상되었다. 수면의 질을 나타내는 PSQI도 중재 후 낮아져 프로그램이 중증 이명으로 인한 불면증 등 관련 증상 완화에 도움이 된 것으로 나타났다. 한편, 다른 문항들이 통계적으로 유의한 차이를 보이지 않은 이유는 이명과 관련된 간접적인 요인을 평가하고 있으며, 치료기간이 짧기 때문에 그 변화가 작았을 수 있기 때문이다.

본 VR 시스템은 SSQ 분석 결과 멀미가 상대적으로 낮은 것으로 나타났다. 선행 연구에서 만성 통증 환자에 대한 VR 치료 시스템의 SSQ 점수는 55.7226, VR 휠체어 훈련 시뮬레이터 시스템의 SSQ 점수는 20027 이상이었다. 반면 본 VR 시스템의 SSQ 점수는 32.81이었다. SSQ 점수가 낮을수록 멀미가 적음을 나타낸다. VR 시스템의 낮은 SSQ 점수는 시스템 자체가 멀미 문제를 일으키지 않았음을 나타낸다. 또한 실험 전후의 EEG 데이터를 주의 깊게 분석했다. 해당 분석은 VR 치료 프로그램 후 모든 환자군에서 왼쪽 안와전두피질에서 알파 밴드와 세타 밴드의 근원 활성이 증가했음을 확인했다.

일반적으로 변연계는 이명 및 팬텀 소리와 같은 음향 기능과 매우 관련이 있다. 이것은 소음 제거 시스템과 관련될 수 있는 변연계와 청각 시스템 간의 상호 작용 때문이다. 이 시스템은 뇌의 전전두엽 피질계의 상응하는 변화로 인해 발생하는 이명 유발 스트레스와 밀접하게 연결되어 있다. 최근, 이명을 분리된 하위 네트워크가 상호 작용하는 통합된 인식으로 제안하는 이명의 통합 모델에서 안와전두피질(OFC)이 이명의 감정적 구성요소를 담당하는 피질 영역으로 제안되었다. 특히, 이러한 영역은 시상과 측좌핵을 통과하는 동안 원치 않는 감각 신호를 억제하기 위해 주의 및 감정 조절을 지향하는 역할을 한다. 더욱이, PFC의 경미한 구조적 및 기능적 이상이 이명 환자에서 종종 관찰된다. 최근 연구에 따르면 OFC는 알파 주파수 대역에 대한 OFC의 수치적 평가 척도(NRS) 고통의 백분율 개선 및 OFC의 소스 국부 피질 전력 변화와 양의 상관 관계가 있음을 보여주었고, 이것은 이 피질 영역과 상관관계가 있는 유쾌함의 느낌에 관한 억제적 활동보다는 흥분성 활동과 관련이 있다. 또한 이러한 연구와 유사하게 EEG 결과에서도 OFC의 알파 밴드와 이명 사이의 연결이 확인되었다. 맞춤형 VR 중재 후 환자의 EEG 결과는 흥분성 기능의 증가를 나타내는 알파 밴드의 근원 활성이 증가하여 이명 발생과 관련된 감정 조절 시스템의 회복으로 제안되었다.

본 연구에서는 또한 OFC에서 증가된 세타 활성을 관찰했다. 선행 연구에서는 음악 치료를 통한 이명 개선 그룹의 세타 변화에 대한 근원 위치 분석을 통해 변화의 주요 원인이 상측두이랑과 같은 청각 처리 영역과 OFC과 같은 상위 감정 및 인지 처리 영역에서 시작된 것으로 나타났다. 또한 변연계 영역의 이상 및 세타 활성 변화는 이명 환자에서 자주 관찰되는데, 이는 이명과 관련된 정서적 기억의 축적을 유발할 수 있는 불확실성을 완화하기 위한 불충분한 감각 입력에 대한 보상으로 기억에서 청각 정보를 검색하는 것으로 해석된다. 또한, 이전 연구 결과에 따르면 작업을 시작하기 위한 제어 및 작업 기억 기능에도 역할을 하는 OFC는 증가된 세타 활동으로 표현될 수 있는 변연계에 연결되어 있다. 따라서 본 연구에 참여한 이명 환자에 대한 결과는 인지 제어, 특히 다감각 작업 및 기억 과정에서 억제 집행 제어가 향상되었다는 증거가 될 수 있다. 이것은 본 VR 프로그램에 의한 증상의 완화로 인한 이명 환자의 하향식 작업 수행 및 인지 조절 개선에서 이 영역과 상관관계가 있는 위상 고정 세타 활성으로 인해 발생할 수 있다.

본 연구에서는 THI 점수가 개선된 환자 그룹에 대해 추가 분석을 수행했으며 왼쪽 OFC에서 세타 및 높은 베타의 유의한 증가가 확인되었다. 또한, 비교 평가를 실시한 결과, 좌측 OFC의 세타 및 높은 베타 대역에서 통계적으로 유의한 차이를 보였다.

베타 밴드는 감정 시스템과 관련된 OFC 영역에서 알파 밴드와 유사한 역할을 한다. 위에서 제안한 바와 같이 베타 밴드는 이명의 불쾌한 감정과 밀접한 관련이 있다. 이와 같이 베타 밴드는 전전두엽 피질 시스템에 대한 전방 대상, 편도체 및 섬을 활성화하는 변연계로 구성된 네트워크에 의해 감지되는 고통의 변화의 표현이다. 본 결과에서와 같이 베타 밴드가 증가하면 감정 처리와 관련이 있고 차례로 이명 완화 시스템과 밀접하게 관련된 precuneus와 OFC 및 DLPFC(dorsolateral prefrontal cortex) 사이의 기능적 연결이 활성화될 수 있다. 이것은 이명으로 인한 자극을 억제하고 완화하기 위해 주의력 및 정서적 조절을 지향할 수 있다.

또한, THI 점수가 개선된 환자군에서 좌측 OFC 영역의 알파, 저 베타, 감마 밴드는 유의하지 않았으나 치료 프로그램 후에 증가하는 경향을 보였다. 따라서 이러한 결과는 상술한 바와 같이 보다 상세한 분석을 통해 추가적인 요인이 발견되었음을 시사하며, 모든 환자군에서 볼 수 있는 좌측 OFC 영역의 알파밴드 증가에 따른 결과적 일치성을 시사한다. 알파 및 세타 밴드의 오른쪽 OFC 영역에서도 유사한 변화가 발견되었다. 또한 THI가 감소된 하위 그룹의 leftsgACC 영역에서 실험에 참여한 환자 그룹의 변화를 관찰했다. sgACC 영역은 긍정적 감정, 각성 처리 네트워크 및 오류 감지 기능을 밀접하게 조절하며 이명 및 만성 통증 및 외상 후 스트레스 장애와 같은 유사한 장애로 인한 부작용에도 관여한다. 또 다른 연구에 따르면 ACC의 더 높은 활동은 환자가 느끼는 더 높은 수준의 이명 고통을 예측한다. THI가 개선된 환자 그룹에 대한 분석으로 인해 이 영역에서 세타 및 감마 밴드가 증가하는 경향이 있었으며 이는 처리 시스템의 복원과 관련이 있을 수 있다.

또한 모든 환자군에서 비모수적 상관관계 분석을 통해 VR 치료 프로그램을 경험한 후 THI 점수의 변화가 특정 밴드의 근원 활성도 변화와 상관관계가 있음을 확인하였으며, THI 점수의 변화와 OFC의 높은 베타 밴드 증가 사이에 유의한 음의 상관관계가 있음을 확인하였다(r = - 0.627). 즉, 높은 베타 밴드 값이 증가하면 환자에서 THI 점수가 향상되었다. 또한 동일한 과정을 통해 세타 밴드를 분석한 결과 OFC에서 THI score와 세타 밴드 값(r = - 0.490) 간에 유의한 상관관계가 있음을 확인하였다. 이러한 결과는 본 실험을 통해 수행된 VR 중재 프로그램이 THI 점수의 상관관계를 통해 이명 관련 고통을 임상적으로 개선하는 데 효과적임을 보여주고 이는 EEG를 통한 뇌 신호의 변화에 의해 검증된다. 본 연구는 이명 관련 고통의 중심 표현과 관련된 피질 영역을 포함하는 것으로 보이는 중재 관련 변화에 대한 이해를 제공한다.

본 연구에서는 VR 프로그램에 노출된 후 이명과 관련된 뇌피질의 기능적 차이를 평가하고 이 프로그램이 특히 OFC 및 sgACC 영역에서 뇌 수준의 변화를 유도함을 확인하였다. 이러한 변화는 관련 지역에서 교란된 네트워크의 재변조로 이어질 수 있으며 교란된 경로의 변조에 영향을 미칠 수 있다. 본 연구의 VR 프로그램을 통해 참가자는 청각 자극을 시각화할 수 있었고, 이는 이명을 처리하고 조절하는 OFC 및 sgACC 메커니즘의 변화를 일으켜 이명을 감소시켰다. 즉, 인지, 기분, 애정과 관련된 이들 영역의 역할은 이명의 예 및 그 영향과 밀접한 관련이 있으며 이는 이명의 기본 병태생리에 대한 단서가 될 수 있다. 더욱이, EEG에 나타난 대역 차이는 이러한 기능의 상보적 네트워크 활성화를 나타낸다. 따라서 인지 행동 치료는 이명 발생의 변화와 이명의 지속적인 경험을 유발할 수 있다.

결론

만성 자각성 이명은 환자의 삶에 여러 가지 나쁜 영향을 미치며 현재까지 진정으로 성공적인 치료법은 없다. 이용 가능한 치료법 중 인지행동치료가 최근 각광받고 있다. 그러나 환자들의 많은 관심과 순응이 필요한 한계가 있다. 따라서 본 연구에서는 인지 행동 치료 치료의 일부가 될 수 있는 실제 경험을 사용자에게 제공할 수 있는 VR 개입 시스템의 잠재력을 평가하려고 한다. 본 연구에서는 이명 발생 시스템과 관련된 이명 증상의 완화 및 EEG 패턴의 변화를 감지했으며, 이명 환자를 치료하는 새로운 방법을 찾을 수 있을 것으로 기대된다.

상술한 일 실시예에 따른 이명 치료 및 증상 완화를 위한 입체음향 가상현실 인터페이스는 이명에 대한 재활기기에 적용할 수 있으며, 컴퓨터를 활용하여 적용 가능하다. 이명에 대한 증상 완화 및 치료 분야 등 다양한 분야에 적용될 수 있다.

이와 같이, 일 실시예에 따르면, 가상현실에 존재하는 이명과 가상환경의 소리의 위치적인 정보를 구할 수 있는 인터페이스를 제공할 수 있다. 가상 이명 물체와 가상환경 물체의 소리를 통해서 몰입감 있는 이명이 들리는 일상 상황을 시뮬레이션 할 수 있도록 한다. 이명 소리를 단순히 들려주는 종래기술의 치료법에서 보다 나아가 가상의 일상 공간에서 이명 소리를 듣는 것을 경험하도록 하는 것으로서, 기존 인지행동치료의 자극 자체를 넘어서 실제와 같은 환경에서 자극을 들리게 함으로써 일상 환경에서의 이명 스트레스를 더욱 효과적으로 줄일 수 있는 시뮬레이션 환경을 제공할 수 있다.

도 14는 일 실시예에 따른 이명 치료 장치의 하드웨어 구현의 예를 도시한다. 일 실시예에 따른 이명 치료 장치(1000)는 사용자 인터페이스(1010), 프로세서(1020), 메모리(1030), HMD(1040), 및 햅틱 디바이스(1050)를 포함할 수 있다.

사용자 인터페이스(1010)는 사용자로부터 주관적 이명 정보를 획득할 수 있다. 주관적 이명 정보는 사용자가 느끼는 소음 종류, 이명의 좌측 청각 또는 우측 청각에서 발생 여부, 발생 빈도, 이명 크기 등을 포함할 수 있다. 사용자 인터페이스(1010)는 주관적 이명 정보를 획득하는 키보드, 조이스틱, 터치 패널 등을 포함할 수 있다.

프로세서(1020)는 메모리(1030)에 저장된 주관적 이명 시각화 모델을 이용하여 주관적 이명 정보로부터 사용자가 인지하는 주관적 이명을 시각화하여 가상 이명 물체를 생성할 수 있고, 메모리(1030)에 저장된 VR 환경 모델을 이용하여 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체를 생성할 수 있다. 또한, 프로세서(1020)는 가상 이명 물체의 위치 및 가상환경 물체의 위치를 사용자에게 인지시키기 위해 3D 음향 처리를 수행할 수 있다. 또한, 프로세서(1020)는 햅틱 디바이스(1050)에 의해 입력되는 사용자 입력신호에 대응하여 VR 영상에서 표시되는 가상 이명 물체를 제어하고, 가상 이명 물체의 제어에 대응하여 3D 음향의 출력을 변경할 수 있다. 다만, 프로세서(1020)의 동작을 이로 한정하는 것은 아니고, 도 1 내지 도 13에서 설명된 동작들을 수행할 수도 있다.

메모리(1030)는 주관적 이명 시각화 모델 및 VR 환경 모델을 저장할 수 있다. 주관적 이명 시각화 모델은 주관적 이명 정보로부터 가상 이명 물체를 생성하는 알고리즘으로 구성될 수 있다. VR 환경 모델은 특정 가상환경(침실, 거실, 레스토랑, 도시 거리 등)에 존재하는 가상환경 물체를 생성하는 알고리즘으로 구성될 수 있다. 메모리(1030)는 일 실시예에 따른 이명 처리 방법을 수행하기 위해 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(1030)는 주관적 이명 정보, 가상 이명 물체, 가상환경 물체, 사용자 입력신호 등을 저장할 수 있다.

HMD(1040)는 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하고 3D 음향을 출력할 수 있다. HMD(1040)는 사용자 입력신호에 대응하여 제어되는 가상 이명 물체를 표시할 수도 있고, 그에 따라 변경된 3D 음향을 출력할 수도 있다.

햅틱 디바이스(1050)는 VR 영상 내 컨텐츠를 변경하기 위한 사용자 입력신호를 입력받고, VR 영상 내 컨텐츠 변경에 따라 그에 상응하는 촉감각을 사용자에게 전달할 수 있다.

일 실시예에 따른 장치(1000)는 이명환자에 커스터마이징된 이명 아바타를 생성 및 가상환경에 제공하고, 사용자의 능동적인 참여에 의해 이명 아바타를 VR 영상 내에서 제어할 수 있도록 한다. 또한, 사용자의 능동적인 촉각의 기능이 더해진, 초현실감(다중감각감)을 통한 이명 치료를 가능하게 한다.

일 실시예에 따른 인터페이스는 다양한 형태의 전자 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

본 발명의 다양한 실시예들은 기기(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치)의 프로세서(예: 프로세서)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일실시예에 따르면, 본 발명에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

본 발명의 기술 사상은 상기 바람직한 실시예들에 따라 구체적으로 기록되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상 범위내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

100: 이명 치료 장치
110: VR 영상 제어부
120: 디스플레이부
130: 가상 이명 물체 및 가상환경 물체부
140: 입체음향 처리부
150: 사용자 인터페이스부
160: 음향 출력부
170: 저장부
200: VR 영상 컨트롤러

Claims (16)

1. 사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부;
   상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부;
   상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부;
   상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및
   사용자 인터페이스부로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고,
   상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
2. 제1항에 있어서, 상기 VR 영상 제어부는,
   상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
3. 제2항에 있어서, 상기 VR 영상 제어부는,
   상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 중단하면서 상기 가상환경 물체에 의한 상기 3D 음향의 출력은 유지하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
4. 제1항에 있어서, 상기 VR 영상 제어부는,
   상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄이는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
5. 제1항에 있어서,
   상기 3D 음향은 상기 가상 이명 물체에 의한 3D 음향과 상기 가상환경 물체에 의한 3D 음향이 융합된 혼합 음향인 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
6. 제1항에 있어서, 상기 음향 출력부는,
   상기 사용자의 양쪽 귀에 각각 음향을 출력하는 좌측 음향 출력부와 우측 음향 출력부로 구성되는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
7. 제1항에 있어서, 상기 입체음향 처리부는,
   상기 VR 영상 내에서 상기 사용자와 상기 가상 이명 물체간 떨어진 거리 및 상기 사용자와 상기 가상환경 물체간 떨어진 거리에 대응하여 상기 3D 음향의 시간과 음량 및 높낮이를 조절하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
8. 제7항에 있어서, 상기 입체음향 처리부는,
   머리의 움직임에 따라서 음향의 시간과 음량 그리고 높낮이를 설정하는 함수인 HRTF(Head-Related Transfer Function) 기반으로 구현된 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
9. 제1항에 있어서, 상기 디스플레이부는,
   외부와 차단된 폐쇄형 시야 환경을 제공하는 HMD(Head Mounted Display)로 제공되는 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
10. 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템으로서,
    이명 치료 장치; 및
    상기 이명 치료 장치와 네트워크를 통해 연결되어 상기 이명 치료 장치로 사용자 입력신호를 입력하는 VR 영상 컨트롤러;를 포함하되,
    상기 이명 치료 장치는,
    사용자의 두부에 장착되어 피검자에게 가상 이명 물체 및 가상환경 물체가 삽입된 VR 영상을 표시하는 디스플레이부;
    상기 사용자가 인지하는 주관적 이명을 시각화하여 상기 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 상기 가상환경 물체를 생성하는 가상 이명 물체 및 가상환경 물체부;
    상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해, 3D 음향 처리를 수행하는 입체음향 처리부;
    상기 사용자에게 상기 3D 음향을 출력하는 음향 출력부; 및
    상기 VR 영상 컨트롤러로부터 제공된 사용자 입력신호에 대응하여 상기 VR 영상 내 컨텐츠를 변경하는 VR 영상 제어부를 포함하고,
    상기 VR 영상 제어부는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경하는 입체음향 가상현실 인터페이스를 이용한 이명 치료 시스템.
11. 사용자로부터 주관적 이명 정보를 획득하는 사용자 인터페이스;
    상기 획득된 주관적 이명 정보로부터 상기 사용자가 인지하는 주관적 이명을 시각화하여 가상 이명 물체를 생성 및 가상환경에서 발생하는 소리원에 대응하는 가상환경 물체를 생성하고, 상기 가상 이명 물체의 위치 및 상기 가상환경 물체의 위치를 상기 사용자에게 인지시키기 위해 3D 음향 처리를 수행하는 프로세서;
    피검자에게 상기 가상 이명 물체 및 상기 가상환경 물체가 삽입된 VR 영상을 표시하고 상기 3D 음향을 출력하는 HMD; 및
    상기 VR 영상 내 컨텐츠를 변경하기 위한 사용자 입력신호를 입력받고, 상기 VR 영상 내 컨텐츠 변경에 따라 그에 상응하는 촉감각을 사용자에게 전달하는 햅틱 디바이스;를 포함하되,
    상기 프로세서는 상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 제어하고, 상기 가상 이명 물체의 제어에 대응하여 상기 3D 음향의 출력을 변경하는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
12. 제11항에 있어서, 상기 프로세서는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체를 단계적으로 제거함과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄이는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
13. 제11항에 있어서, 상기 프로세서는,
    상기 사용자 입력신호에 대응하여 상기 VR 영상에서 표시되는 상기 가상 이명 물체의 크기를 단계적으로 줄임과 동시에, 상기 가상 이명 물체에 의한 상기 3D 음향의 출력을 단계적으로 줄이는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
14. 제13항에 있어서,
    상기 가상 이명 물체의 크기가 단계적으로 줄어드는 수준과 상기 가상 이명 물체에 의한 상기 3D 음향의 출력이 단계적으로 줄어드는 수준은 서로 상응하는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
15. 제11항에 있어서,
    상기 햅틱 디바이스는 상기 가상 이명 물체의 크기가 단계적으로 줄어들 때 그에 상응하는 촉감각을 발생시켜 사용자에게 전달하는, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.
16. 제11항에 있어서,
    상기 햅틱 디바이스는 팬텀 햅틱 디바이스인, 입체음향 가상현실 인터페이스를 이용한 이명 치료 장치.

Images