KR101926074B1

KR101926074B1 - 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체

Info

Publication number: KR101926074B1
Application number: KR1020170026529A
Authority: KR
Inventors: 곽기욱; 고영훈; 최상원
Original assignee: 주식회사 비햅틱스
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2018-12-06
Also published as: KR20180099283A

Abstract

본 발명의 한 실시예에 따른 촉각자극 제공 방법은, 사용자 입력 장치 및 촉각자극 제공 장치와 연결된 컴퓨팅 장치에 의해 수행되는 촉각자극 제공 방법으로서, 상기 사용자 입력 장치로부터 입력 신호가 발생하는 단계; 상기 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 상기 입력 신호가 도달하는 과정에서, 제2 프로그램이 상기 입력 신호를 인터셉트(intercept)하는 단계; 상기 제2 프로그램이 인터셉트한 상기 입력 신호를 촉각자극 신호로 변환하는 단계; 및 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공하는 단계를 포함한다.

Description

촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체{TACTILE STIMULATION PROVIDING METHOD AND COMPUTER READABLE MEDIUM}

본 발명은 촉각자극 제공 방법 및 촉각자극 제공 장치에 관한 것이다.

모바일, 콘솔, 컴퓨터, 가상현실 기기 등을 이용해 게임 및 영상과 같은 시청각 기반 컨텐츠를 즐길 때, 햅틱 피드백(이하 촉각자극)이 사용자에게 함께 전달되면 사용자는 더욱 큰 재미와 몰입도를 경험할 수 있다.

하지만, 예를 들어, 게임 프로그램을 개발할 때부터 촉각자극 제공 기능을 게임 내부에 빌트인(built-in)하지 않는다면, 외부 프로그램을 이용하여 각각의 게임 상황에 어울리는 촉각자극을 제공하는 방법을 새로이 연구할 필요가 있다.

하지만 외부 프로그램이 게임 프로그램에서 출력되는 시청각 신호만을 이용하여 촉각자극 신호를 생성한다면, 사용자는 시청각적 자극과 촉각자극 간의 간극(딜레이)을 느끼게 되고, 게임에 대한 몰입도가 저하될 수 있다.

한국 등록특허공보 제10-1084059호(2011.11.10.)

해결하고자 하는 기술적 과제는, 시청각적 자극과 촉각자극 간의 간극을 최소화하면서도 정확한 촉각자극이 제공가능한 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 시각자극 신호를 참조함에 있어서, 미리 결정된 관심 영역에 대한 부분만 참조할 수 있다.

상기 제2 프로그램은 상기 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 상기 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 상기 입력 신호를 상기 촉각자극 신호로 변환할지 여부를 결정할 수 있다.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 상기 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 청각자극 신호를 참조함에 있어서, 상기 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 상기 입력 신호를 상기 촉각자극 신호로 변환할지 여부를 결정할 수 있다.

상기 촉각자극 제공 방법은 상기 제2 프로그램이 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 청각자극 신호를 참조함에 있어서, 상기 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다.

본 발명의 한 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는, 컴퓨터로 수행될 수 있는 복수의 단계를 포함하는 제2 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로서, 상기 제2 프로그램은, 사용자 입력 장치로부터 발생한 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 상기 입력 신호가 도달하는 과정에서, 상기 입력 신호를 인터셉트하는 단계; 상기 인터셉트한 상기 입력 신호를 촉각자극 신호로 변환하는 단계; 및 상기 촉각자극 신호를 촉각자극 제공 장치로 제공하는 단계를 포함한다.

상기 제2 프로그램은 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 시각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 시각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 신호로 변환하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.

상기 제2 프로그램은 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고, 상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 청각자극 신호를 참조할 수 있다.

본 발명에 따른 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체는 시청각적 자극과 촉각자극 간의 간극을 최소화하면서도 정확한 촉각자극이 제공가능하다.

도 1은 본 발명의 한 실시예에 따른 촉각자극 제공 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 시각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.
도 3은 입력 신호 및 시각자극 신호를 이용하여 촉각자극 신호를 생성하는 구체적인 경우를 설명하기 위한 도면이다.
도 4는 도 3으로부터 1 초가 지난 시점을 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 청각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따라 청각자극 신호를 필터링하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 한 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.

또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.

도 1은 본 발명의 한 실시예에 따른 촉각자극 제공 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 한 실시예에 따른 촉각자극 제공 방법은 사용자 입력 장치(10) 및 촉각자극 제공 장치(40)와 연결된 컴퓨팅 장치(20)에 의해 수행될 수 있다. 컴퓨팅 장치(20)는 표시 장치(30)와 더 연결될 수 있다.

컴퓨팅 장치(20)는 제1 프로그램 및 제2 프로그램의 구동을 위하여 적어도 하나의 프로세서 및 기록매체를 포함할 수 있다. 제2 프로그램은 컴퓨팅 장치(20)로 읽을 수 있는 기록매체에 기록될 수 있다.

기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터 또는 프로그램이 저장될 수 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드디스크, 외장하드디스크, SSD, USB 저장 장치, DVD, 블루레이 디스크 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 복수 장치의 조합일 수도 있으며, 네트워크로 연결된 컴퓨터 시스템에 분산되어 있을 수도 있다. 이러한 기록매체는 비일시적인 컴퓨터로 읽을 수 있는 기록매체(non-transitory computer readable medium)일 수 있다. 비일시적인 컴퓨터로 읽을 수 있는 기록매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터 또는 프로그램을 저장하는 매체가 아니라 반영구적으로 데이터 또는 프로그램을 저장하며, 컴퓨터에 의해 판독가능한 매체를 의미한다.

사용자 입력 장치(10)는 사용자의 입력에 의해 입력 신호를 발생시키는 장치일 수 있다. 사용자 입력 장치(10)는, 예를 들어, 마우스, 키보드, 컨트롤러, 게임 컨트롤러, 조이스틱, 터치 패드, 모션 컨트롤러, 헤드 마운티드 디스플레이 등이 될 수 있다. 사용자 입력 장치(10)는 사용자의 입력을 받아 컴퓨팅 장치(20)에 입력될 수 있는 입력 신호를 발생시킬 수 있다면 어떠한 장치도 가능할 수 있다. 입력 신호는 버튼을 누르는 신호 이외에도 헤드 마운티드 디스플레이나 컨트롤러의 현재 위치 등 위치 신호일 수도 있다.

표시 장치(30)는 모니터, 텔레비전, 프로젝터, 터치 디스플레이, 모바일 디스플레이, 헤드 마운티드 디스플레이, 스마트 워치 등이 될 수 있다. 표시 장치(30)는 제1 프로그램에서 생성된 시각자극 신호를 표시함으로써, 사용자에게 시각자극을 제공한다.

제1 프로그램은 영화, 애니메이션, 게임, VR 컨텐츠, AR 컨텐츠, 이북(E-book), 음악 등이 될 수 있다. 이하에서는 제1 프로그램이 게임 프로그램임을 가정하여 설명하지만, 사용자 입력 장치(10)로부터 사용자 입력을 받아 이를 시각자극 신호로 변환하거나, 청각자극 신호로 변환하는 어떠한 프로그램도 제1 프로그램이 될 수 있다.

본 실시예에서 제1 프로그램은 내부적으로 촉각자극 제공 기능이 빌트인되지 않은 경우를 가정한다.

촉각자극 제공 장치(40)는 수신한 촉각자극 신호에 따라 사용자에게 촉각자극을 제공할 수 있다. 촉각자극 제공 장치(40)는 게임 컨트롤러, 터치 디스플레이, 마우스, 키보드, 촉각자극 제공 의자, 촉각자극 제공 팔토시 등이 될 수 있다. 예를 들어, 촉각자극 제공 장치(40)는 복수의 진동 모터와 같은 액츄에이터를 포함할 수 있고, 촉각자극 신호에 따라 복수의 진동 모터가 선택적으로 진동함으로써 사용자에게 촉각자극이 제공될 수 있다. 액츄에이터는 진동 모터뿐만 아니라, 공압식(pneumatic) 또는 유압식(hydraulic) 액츄에이터일 수도 있다.

본 실시예의 제2 프로그램은 내부적으로 촉각자극 제공 기능이 없는 제1 프로그램을 보완하여 촉각자극 제공 장치(40)에 필요한 촉각자극 신호를 생성하기 위한 것으로서, 이하에서 각 단계별로 상세히 설명한다.

먼저, 사용자 입력 장치(10)로부터 입력 신호가 발생한다(S100). 예를 들어, 사용자 입력 장치(10)는 게임 컨트롤러일 수 있고, 사용자가 버튼을 누름으로써 총알을 발사하라는 입력 신호가 발생할 수 있다.

제1 프로그램은 입력 신호를 시각자극 신호로 변환할 수 있다. 예를 들어, 제1 프로그램은 슈팅 분야의 게임 프로그램일 수 있고, 총알 발사에 대한 입력 신호를 수신하여 게임 내의 총에서 불꽃이 튀는 장면을 연출하도록 시각자극 신호를 생성할 수 있다. 즉, 총알 발사에 대한 입력 신호를 총구에서 불꽃이 튀는 장면으로 변환할 수 있다.

제1 프로그램은 이러한 시각자극 신호를 표시 장치(30)로 제공함으로써, 사용자는 표시 장치(30)를 통해 시각적 자극을 받을 수 있다. 예를 들어, 사용자는 게임 컨트롤러 버튼 누름에 따라 총알이 발사되는 연출을 확인할 수 있다.

본 발명의 한 실시예에 따른 제2 프로그램은 제1 프로그램이 수신하고자 하는 입력 신호를 인터셉트(intercept)할 수 있다(S110). 즉, 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 입력 신호가 도달하는 과정에서, 제2 프로그램이 입력 신호를 인터셉트할 수 있다. 사용자 입력 장치(10)의 입력 신호는 컴퓨팅 장치(20)의 운영 체제(Operating System)를 통해서 제공될 수 있는데, 제2 프로그램은 운영 체제에 대해서 입력 신호 인터셉트 알고리즘을 통해서 입력 신호를 인터셉트할 수 있다.

제2 프로그램은 인터셉트한 입력 신호를 촉각자극 신호로 변환하고(S120), 촉각자극 신호를 촉각자극 제공 장치(40)로 제공할 수 있다(S130). 따라서, 제2 프로그램은 시각자극 신호의 생성과 거의 동시에, 또는 시각자극 신호가 생성되기도 전에 촉각자극 신호를 생성할 수 있고, 사용자는 시각자극 신호와 촉각자극 신호 간의 간극을 거의 느끼지 않을 수 있으므로 더욱 게임에 몰입할 수 있는 장점이 있다. 실험에 의하면, 대략 20 ms 이하의 반응속도로 무선으로 촉각자극을 제공할 수 있었다.

도 2는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 시각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.

도 2를 참조하면, 제2 프로그램(22)은 제1 프로그램(21)으로부터 시각자극 신호를 수신할 수 있다. 제2 프로그램(22)은 입력 신호를 촉각자극 신호로 변환하는 과정에서, 이러한 시각자극 신호를 참조할 수 있다.

도 1에서 전술한 방법은 시각자극 신호와 촉각자극 신호의 간극을 최소화할 수 있는 방법이긴 하나, 참조할 수 있는 신호가 사용자 입력 장치(10)의 입력 신호에 한정되므로 시각자극 신호와 촉각자극 신호의 매칭에 오류가 생길 수 있다.

예를 들어, 사용자가 게임 컨트롤러의 버튼을 눌러 총알을 계속 발사하고 있다면 이에 상응하는 시각자극 신호(총구에서 연속해서 불꽃이 튐)와 촉각자극 신호(짧고 연속된 진동)를 체감하고 있을 것이다. 하지만, 총알이 모두 소모되고 사용자가 계속해서 버튼을 누르는 경우, 시각자극 신호(총구에서 불꽃이 튀지 않음)와 촉각자극 신호(짧고 연속된 진동)의 매칭에 오류가 생길 수 있고, 사용자의 게임 몰입도가 저하될 수 있다.

이러한 도 1에서의 매칭 오류는 제2 프로그램(22)이 사용자 입력 장치(10)의 입력 신호에만 의존하고 있음에 기인한다.

따라서, 본 실시예에서는 제2 프로그램(22)이 제1 프로그램(21)으로부터 시각자극 신호를 수신하고, 이를 참조함으로써 시각자극 신호 및 촉각자극 신호 사이의 매칭 오류를 해소하고자 한다. 예를 들어, 사용자가 계속 버튼을 눌러 입력 신호가 발생하더라도 시각자극 신호를 참조하여 총알이 발사될 수 없는 경우임을 확인하였다면 촉각자극 신호를 생성하지 않을 수 있다. 또는 다른 종류의 촉각자극 신호(철컥거리는 빈 탄창의 느낌)를 생성할 수도 있다.

다른 실시예에서, 제2 프로그램(22)은 변환된 촉각자극 신호를 촉각자극 제공 장치(40)로 제공하는 과정에서, 이러한 시각자극 신호를 참조할 수 있다. 예를 들어, 입력 신호에 따라 촉각자극 신호를 미리 생성하되, 시각자극 신호를 참조하여 현재 상황에 부적합한 촉각자극 신호라면 이를 촉각자극 제공 장치(40)에 제공하지 않을 수 있다(blocking). 물론 시각자극 신호를 참조하여 현재 상황에 적합한 촉각자극 신호라면 이를 촉각자극 제공 장치(40)에 제공할 수 있다.

이와 같이 제2 프로그램(22)이 입력 신호와 시각자극 신호를 참조하여 적절한 촉각자극 신호를 생성하는 것은 다양한 실시예로 구성될 수 있다. 따라서, 본 발명의 범주는 반드시 전술한 실시예만으로 한정될 수 없으며, 당업자가 용이하게 변형하여 실시할 수 있는 실시예를 모두 포함하여야 할 것이다.

도 3은 입력 신호 및 시각자극 신호를 이용하여 촉각자극 신호를 생성하는 구체적인 경우를 설명하기 위한 도면이고, 도 4는 도 3으로부터 1 초가 지난 시점을 설명하기 위한 도면이다.

도 2의 실시예의 경우에도 장점만이 존재하는 것은 아니다. 딥 러닝(deep learning) 기술의 발전으로 표시 장치(30)에 표시된 화면 전체를 계속해서 인식하는 것도 가능하지만, 이와 같은 방식은 많은 컴퓨팅 자원(computing resource)을 필요로 한다. 따라서, 이러한 시각자극 신호를 참조 및 분석하는 것이 병목 현상(bottle neck)을 일으켜 촉각자극 신호의 생성이 늦어짐으로써, 시각자극 신호와 딜레이가 발생할 우려가 있다.

따라서, 도 3 및 4의 실시예에서는 시각자극 신호의 참조를 최소한으로 함으로써 병목 현상을 최소화시키고자 한다. 도 3 및 4의 실시예에서는, 제2 프로그램(22)이 시각자극 신호를 참조함에 있어서, 미리 결정된 관심 영역(region of interest, ROI)에 대한 부분만 참조하도록 한다. 예를 들어, 도 3을 참조하면, 제1 시점(t=0sec)의 표시 장치(30)에 표시된 화면에서 복수의 그래픽 객체(310a, 311a, 312a, 313a, 314a)가 표시된 영역이 미리 결정된 관심 영역일 수 있다. 또한, 도 4를 참조하면, 도 3과 대응하여, 제2 시점(t=1sec)의 표시 장치(30)에 표시된 화면에서 복수의 그래픽 객체(310b, 311b, 312b, 313b, 314b)가 표시된 영역이 미리 결정된 관심 영역일 수 있다.

한 실시예에 따르면, 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 입력 신호를 촉각자극 신호로 변환할지 여부를 결정할 수 있다.

예를 들어, 도 3의 관심 영역을 참조하면, 제1 능력에 대한 그래픽 객체(311a)는 사용자가 제1 능력을 사용가능 함을 가리키고 있고, 제2 능력에 대한 그래픽 객체(312a)는 사용자가 제2 능력을 사용하기에 3초를 더 기다려야 함을 가리키고 있고, 제3 능력에 대한 그래픽 객체(313a)는 사용자가 제3 능력을 사용하기에 1초를 더 기다려야 함을 가리키고 있고, 총알 개수에 대한 그래픽 객체(314a)는 사용자가 총알 1발을 더 쏠 수 있음을 가리키고 있다. 또한 캐릭터에 대한 그래픽 객체(310a)는 캐릭터의 종류와 캐릭터가 살아있음(alive)을 가리키고 있다.

따라서, 도 3의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력을 사용하거나 총알 1발을 쏠 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 총알 1발을 쏘는 경우, 입력 신호를 촉각자극 신호로 변환할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 제3 능력을 사용하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 입력 신호를 촉각자극 신호로 변환하지 않을 수 있다.

도 4의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력 및 제3 능력을 사용할 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 제3 능력을 사용하는 경우, 입력 신호를 촉각자극 신호로 변환할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 총알을 발사하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 입력 신호를 촉각자극 신호로 변환하지 않을 수 있다.

다른 실시예에 따르면, 미리 결정된 관심 영역에 대한 부분만 참조함에 있어서, 미리 결정된 관심 영역에서 매칭되는 그래픽 객체에 따라 촉각자극 신호를 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다. 이러한 실시예에는 입력 신호를 촉각자극 신호로 우선적으로 변환하고, 생성된 촉각자극 신호를 촉각자극 제공 장치로 전달할지 말지를 결정하는 방식이다.

예를 들어, 도 3의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력을 사용하거나 총알 1발을 쏠 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 총알 1발을 쏘는 경우, 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 제3 능력을 사용하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공하지 않을 수 있다.

도 4의 시점에서, 제2 프로그램이 시각자극 신호를 참조하는 경우, 사용자가 제1 능력 및 제3 능력을 사용할 수 있는 상태임을 알 수 있으므로, 사용자가 제1 능력을 사용하거나 제3 능력을 사용하는 경우, 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공할 수 있다. 다만, 사용자가 제2 능력을 사용하거나 총알을 발사하고자 컨트롤러를 조작하는 경우, 제2 프로그램은 기생성된 촉각자극 신호를 촉각자극 제공 장치로 제공하지 않을 수 있다.

도 3 및 4의 경우 미리 결정된 관심 영역이 고정되어 있지만, 다른 실시예에서는 관심 영역이 고정되어 있지 않을 수 있다. 예를 들어, 헤드 마운티드 디스플레이를 착용하고 즐기는 VR 게임(virtual reality game)의 경우 몰입도 향상을 위해서 총알 개수 등의 인디케이터(indicator)가 표시되어 있지 않은 경우가 많다. 이러한 경우는 컨트롤러의 위치를 제2 입력 신호로 하여, 컨트롤러의 위치 대비 특정 오프셋(offset)만큼의 영역을 관심 영역으로 미리 결정할 수 있다. 예를 들어 컨트롤러가 총기의 역할을 하는 경우, 총기의 위치를 기준으로 일정 영역이 관심 영역으로 되므로, 총기의 시각적 상태(총알 소진 여부 등)를 계속적으로 참조할 수 있다.

시각자극 신호의 참조 과정에서, 표시 장치(30)의 스펙, 선택된 해상도의 차이가 문제될 수 있다. 즉, 미리 학습된 그래픽 객체의 해상도와 표시 장치(30)에서 표시되는 그래픽 객체의 해상도가 서로 불일치하는 경우가 발생할 수 있다. 이를 해결하기 위해서, 제2 프로그램(22)은 예상할 수 있는 최대 해상도로 학습시킨 이후에, 사용자가 게임(21)을 즐길 때마다 현재 게임(21)의 해상도를 지속적으로 업데이트 받으면서, 현재 입력되는 게임(21)의 이미지를 미리 설정된 최대 해상도에 맞도록 스케일 업(scale up)하여 입력시킬 수 있다. 또한 다른 방법으로는, 최대 해상도뿐만 아니라, 더 낮은 다수의 해상도에 대해 제2 프로그램(22)을 미리 학습시켜놓고, 사용자의 해상도에 맞춰 가장 적합한 해상도로 학습된 알고리즘을 이용할 수도 있다.

시각자극 신호를 참조하여 분류(visual classification)하는 것에 대해서, 탬플릿 매칭(template matching), SVM(support vector machine), MLP(multi-layer perceptron), CNN(convolutional neural network) 등의 시각적 처리(visual processing) 및 기계 학습(machine learning) 기법이 사용될 수 있다.

도 5는 본 발명의 한 실시예에 따른 제2 프로그램에서 제1 프로그램으로부터 청각자극 신호를 수신하는 경우를 설명하기 위한 도면이다.

도 5를 참조하면, 제2 프로그램(22)이 제1 프로그램(21)으로부터 청각자극 신호를 수신할 수 있다.

도 2 내지 4를 참조하여 전술한 바에 따르면 제2 프로그램(22)이 제1 프로그램(21)으로부터 수신한 시각자극 신호를 참조하여 입력 신호의 맹점을 보완할 수 있었지만, 본 실시예에서는 제2 프로그램(22)이 제1 프로그램(21)으로부터 수신한 청각자극 신호를 참조하여 입력 신호의 맹점을 보완할 수 있다.

예를 들어, 시각자극 신호를 참조한다면 도 4의 그래픽 객체(314b)를 참조함으로써 총알이 소진되었음을 알 수 있다. 이때, 청각자극 신호를 참조한다면 탄창을 교체하는 효과음을 참조함으로써, 총알이 다 소진되었음을 확인할 수도 있을 것이다. 시각자극 신호 및 청각자극 신호를 상호 보완적으로 이용할 수도 있지만, 이하 실시예에서는 중복되는 설명은 생략하고, 청각자극 신호를 참조하는 방법에 대해 설명한다.

한 실시예에 따르면, 제2 프로그램(22)은 입력 신호를 촉각자극 신호로 변환하는 과정에서, 청각자극 신호를 참조할 수 있다. 다른 실시예에 따르면, 제2 프로그램(22)은 촉각자극 신호를 촉각자극 제공 장치로 제공하는 과정에서, 청각자극 신호를 참조할 수 있다. 각 실시예의 차이점은 도 3 및 4를 참조하여 설명한 것과 유사하므로 별도로 설명하지 않는다.

도 6은 본 발명의 한 실시예에 따라 청각자극 신호를 필터링하는 과정을 설명하기 위한 도면이다.

한 실시예에 따르면, 제2 프로그램(22)은 청각자극 신호를 참조함에 있어서, 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 입력 신호를 촉각자극 신호로 변환할지 여부를 결정할 수 있다. 다른 실시예에 따르면, 제2 프로그램(22)은 청각자극 신호를 참조함에 있어서, 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 촉각자극 신호를 촉각자극 제공 장치로 제공할지 여부를 결정할 수 있다. 각 실시예의 차이점은 도 3 및 4를 참조하여 설명한 것과 유사하므로 별도로 설명하지 않는다. 이하에서는 각 실시예의 공통점인 청각자극 신호를 필터링하여 청각자극 객체와 매칭하는 과정에 대해 설명한다.

오디오 신호, 즉 청각자극 신호는 시각자극 신호와 비교했을 때, 데이터 처리에 걸리는 시간 및 컴퓨팅 자원 대비 획득할 수 있는 정보의 수준이 비교적 낮다. 따라서 시각자극 신호와 비교했을 때 제한적으로 사용될 필요가 있다.

본 실시예에서는 청각자극 객체(총소리, 비명소리 등)에 해당하는 특정 효과음을 검출해내기 위해서 입력받은 청각자극 신호(배경음 및 각종 효과음이 중첩된 소리 신호)에 최적화된 필터를 사용하고, 그 후 MFCC(mel-frequency cepstrum coefficients) 등의 처리를 통한 알고리즘이 구현될 수 있다.

예를 들어, 청각자극 신호에 LoG(Laplacian of Gaussian) 필터링을 하면 순간적으로 변화하는 신호만이 증폭하게 되는데 이를 이용하면 총 소리, 비명 소리 등의 효과음과 배경음을 분리할 수 있다. 그 후, MFCC를 구하고 이 결과를 MLP(multi-layer perceptron), CNN(convolutional neural network) 등의 분류(classification) 알고리즘을 이용하여 분류(매칭)할 수 있다.

도 6을 참조하면, 짧은 구간(window) 동안의 오디오 신호를 FFT(fast fourier transform)하여 시간에 따른 주파수(frequency)의 변화로 표시한 것이 스펙트로그램(spectrogram)이다.

이러한 스펙트로그램에서 사람의 귀가 오디오 신호를 인식하는 방식을 본떠서, 저주파 대역은 더 촘촘하게, 고주파 대역은 더 넓은 필터(filter)를 이용해 20 내지 40 개의 필터로 표현한 것이 멜-주파수 스펙트럼(mel-frequency spectrum)이다. 이러한 결과를 더 효율적으로 압축한 것이 MFCC이다. 이러한 실시예를 이용하면 높은 데이터 양을 갖는 오디오 신호를 더 낮은 양의 데이터로 압축할 수 있다.

도 7은 본 발명의 한 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.

도 7을 참조하면 MFCC와 함께 MLP를 적용한 알고리즘에 대해 도시하고 있다. MLP는 완전 연결형 레이어(fully-connected layer)로 이루어진 뉴럴 네트워크 모델(neural network model)이다.

본 실시예에서는 3 개의 레이어의 MLP로 구성되었으며, 전처리된 오디오 신호의 좌, 우 채널을 모두 사용하여 1 차원 벡터로 리세이프(reshape)하여 네트워크의 입력으로 사용하였다. 출력은 미리 선정된 배경음(background) 포함 18 개의 클래스 라벨(class label)의 확률 값을 나타내는 소프트맥스 레이어(softmax layer)를 사용하였다.

본 실시예에서는, 스테레오(stereo) 오디오 신호를 각각의 L, R 채널마다 별도로 MFCC로 변환한 후에, MLP를 통해 각 클래스(class), 즉 청각자극 객체의 소리를 구별할 수 있었다.

다른 실시예에서, MLP의 마지막 히든 레이어(hidden layer)에 포그라운드 컨피던스(foreground confidence)를 예측하기 위한 시그모이드 리그레션 레이어(sigmoid regression layer)를 추가한 형태로 네트워크를 구성할 수도 있다. 이때 포그라운드 컨피던스는 0에서 1 사이의 실수 값을 가질 수 있다.

도 8은 본 발명의 다른 실시예에 따라 필터링된 청각자극 신호를 청각자극 객체와 대응시키는 과정을 설명하기 위한 도면이다.

도 8을 참조하면 MFCC와 함께 CNN을 적용한 알고리즘에 대해 도시하고 있다. 도 7의 경우와 유사하게 MLP와 또 다른 분류(classificaton) 알고리즘 중 하나인 CNN을 통해 청각자극 객체의 소리를 구별할 수 있다.

CNN은 컴퓨터 비전(computer vision) 분야에서 활용되는 딥 러닝(deep learning) 기반 모델 중 하나이다. 특히 계층적인 구조로 하위 레이어에서는 로컬한(local) 특징(feature)을, 상위 레이어에서는 글로벌한(global) 특징을 추출하며, 입력 패턴의 회전, 평행이동 등에 대한 변화에 강인한 특징을 추출할 수 있는 장점을 갖고 있다.

본 실시예에서는 3 개의 레이어로 구성된 CNN을 오디오 신호에 대한 특징 추출기로서 활용하였다. 이때, 각 컨벌루션 레이어(convolution layer)는 시간 축으로만 컨벌루션 연산을 수행하도록 하였다.

지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 사용자 입력 장치
20: 컴퓨팅 장치
30: 표시 장치
40: 촉각자극 제공 장치
21: 제1 프로그램
22: 제2 프로그램

Claims

사용자 입력 장치 및 촉각자극 제공 장치와 연결된 컴퓨팅 장치에 의해 수행되는 촉각자극 제공 방법으로서,
상기 사용자 입력 장치로부터 입력 신호가 발생하여 운영 체제로 입력되는 단계;
상기 운영 체제로부터 상기 입력 신호를 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 상기 입력 신호가 도달하는 과정에서, 제2 프로그램이 상기 입력 신호를 인터셉트(intercept)하는 단계;
상기 제2 프로그램이 상기 시각자극 신호 중 미리 결정된 관심 영역의 그래픽 객체의 상태를 참조하는 단계;
상기 그래픽 객체가 제1 표시 상태에 있는 경우 상기 제2 프로그램이 인터셉트한 상기 입력 신호를 촉각자극 신호로 변환하고, 상기 그래픽 객체가 상기 제1 표시 상태와 다른 제2 표시 상태에 있는 경우 상기 제2 프로그램이 상기 입력 신호에 불구하고 상기 입력 신호를 상기 촉각자극 신호로 변환하지 않는 단계; 및
상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공하는 단계를 포함하는
촉각자극 제공 방법.
삭제
삭제
삭제
삭제
삭제
삭제
제1 항에 있어서,
상기 제2 프로그램이 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고,
상기 촉각자극 신호로 변환하는 단계에서, 상기 청각자극 신호를 참조하는,
촉각자극 제공 방법.
제8 항에 있어서,
상기 청각자극 신호를 참조함에 있어서, 상기 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 상기 입력 신호를 상기 촉각자극 신호로 변환할지 여부를 결정하는,
촉각자극 제공 방법.
제1 항에 있어서,
상기 제2 프로그램이 상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고,
상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 청각자극 신호를 참조하는,
촉각자극 제공 방법.
제10 항에 있어서,
상기 청각자극 신호를 참조함에 있어서, 상기 청각자극 신호를 필터링하여 매칭되는 청각자극 객체에 따라 상기 촉각자극 신호를 상기 촉각자극 제공 장치로 제공할지 여부를 결정하는,
촉각자극 제공 방법.
컴퓨터로 수행될 수 있는 복수의 단계를 포함하는 제2 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로서, 상기 제2 프로그램은,
사용자 입력 장치로부터 발생한 입력 신호를 운영 체제를 통해 수신하여 시각자극 신호로 변환하는 제1 프로그램으로 상기 입력 신호가 도달하는 과정에서, 상기 입력 신호를 인터셉트하는 단계;
상기 시각자극 신호 중 미리 결정된 관심 영역의 그래픽 객체의 상태를 참조하는 단계;
상기 그래픽 객체가 제1 표시 상태에 있는 경우 상기 인터셉트한 상기 입력 신호를 촉각자극 신호로 변환하고, 상기 그래픽 객체가 상기 제1 표시 상태와 다른 제2 표시 상태에 있는 경우 상기 입력 신호에 불구하고 상기 입력 신호를 상기 촉각자극 신호로 변환하지 않는 단계; 및
상기 촉각자극 신호를 촉각자극 제공 장치로 제공하는 단계를 포함하는,
컴퓨터로 읽을 수 있는 기록 매체.
삭제
삭제
삭제
삭제
삭제
삭제
제12 항에 있어서,
상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고,
상기 촉각자극 신호로 변환하는 단계에서, 상기 청각자극 신호를 참조하는,
컴퓨터로 읽을 수 있는 기록 매체.
제12 항에 있어서,
상기 제1 프로그램으로부터 청각자극 신호를 수신하는 단계를 더 포함하고,
상기 촉각자극 제공 장치로 제공하는 단계에서, 상기 청각자극 신호를 참조하는,
컴퓨터로 읽을 수 있는 기록 매체.