KR20170015122A - 군중 기반의 햅틱 - Google Patents

Abstract

시스템은 햅틱 효과를 생성한다. 이 시스템은 이벤트와 연관된 입력 데이터를 수신하고, 입력 데이터에서 이벤트의 요소를 식별하며, 이벤트의 요소에 기초하여 햅틱 효과를 발생시키고, 햅틱 출력 디바이스를 통해 햅틱 효과를 생성한다. 한 실시예에서, 햅틱 효과는 이벤트의 요소를 햅틱화(haptify)함으로써 생성된다. 한 실시예에서, 햅틱 효과는 설계된 햅틱 효과이고 이벤트의 요소에 기초하여 조절된다. 한 실시예에서, 입력 데이터는 이벤트에 참석하는 군중(crowd)과 연관되고, 이벤트의 요소는 군중에 의해 야기된다. 한 실시예에서, 입력 데이터는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터를 포함한다. 한 실시예에서, 입력 데이터는 군중과 연관된 하나 이상의 개인 디바이스의 위치를 나타낸다.

Description

군중 기반의 햅틱{CROWD-BASED HAPTICS}

관련 출원의 상호참조

본 출원은 2015년 7월 29일 출원된 미국 가출원 번호 제62/198,615호의 우선권 혜택을 주장하고, 그 개시내용이 이로써 참고로 포함된다.

분야

한 실시예는 대체로 햅틱 시스템에 관한 것으로, 더 구체적으로는, 이벤트에 관련된 햅틱 효과를 제공하는 햅틱 시스템에 관한 것이다.

"햅틱"은, 힘, 진동, 움직임 등의 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 적용함으로써 사용자의 터치감을 이용하는 촉각적 및 포스 피드백 기술(tactile and force feedback technology)에 관한 것이다. 모바일 디바이스, 터치스크린 디바이스, 및 개인용 컴퓨터 등의 디바이스들은 햅틱 효과를 발생시키도록 구성될 수 있다. 일반적으로, (액추에이터 등의) 햅틱 효과를 발생시킬 수 있는 임베디드 하드웨어에 대한 호출은 디바이스의 운영 체제("OS") 내에 프로그램될 수 있다. 이들 호출은 어느 햅틱 효과를 재생할지를 명시한다. 예를 들어, 사용자가 예를 들어 버턴, 터치스크린, 레버, 조이스틱, 휠, 또는 어떤 다른 제어를 이용하여 디바이스와 상호작용할 때, 디바이스의 OS는 제어 회로를 통해 재생 명령을 임베디드 하드웨어에 전송할 수 있다. 그러면, 임베디드 하드웨어는 적절한 햅틱 효과를 생성한다.

햅틱은, 최근의 기술적 진보에서, 라이브 스포츠 게임, 콘서트 쇼, 패션쇼, 코미디 공연, 텔레비전 에피소드 등의 이벤트들의 가상 경험을 향상시키기 위해 활용되어 왔다. 이 목적을 위해, 대응하는 햅틱 효과는, 다양한 수단을 통해, 예를 들어, 무선 또는 텔레비전 등의 전통적인 미디어를 통해, 뉴스 스트림 또는 모바일 애플리케이션 등의 인터넷 기반의 새로운 매체를 통해, 또는 Oculus Virtual Reality에 의한 Oculus Rift 헤드 장착 디스플레이("HMD") 등의 이벤트 가상 현실 플랫폼을 통해 전달될 수 있다. 이러한 기술들은 사용자가 가상 채널을 통해 원격으로 이벤트에 "참석"할 수 있게 하지만, 이들은 직접 이벤트에 참석할 때에 경험할 수 있는 라이브 이벤트의 청중의 완전한 경험을 제공하지 못할 수도 있다.

한 실시예는 하나 이상의 햅틱 효과를 생성하는 시스템이다. 이 시스템은 이벤트와 연관된 입력 데이터를 수신하고, 입력 데이터에서 이벤트의 요소를 식별하며, 이벤트의 요소에 기초하여 하나 이상의 햅틱 효과를 발생시키고, 햅틱 출력 디바이스를 통해 하나 이상의 햅틱 효과를 생성한다. 한 실시예에서, 햅틱 효과는 이벤트의 요소를 햅틱화(haptify)함으로써 발생된다. 한 실시예에서, 햅틱 효과는 이벤트의 요소에 기초하여 설계되고 조절된다. 한 실시예에서, 입력 데이터는 이벤트에 참석하는 군중(crowd)과 연관되고, 이벤트의 요소는 군중에 의해 야기된다. 한 실시예에서, 입력 데이터는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터를 포함한다. 한 실시예에서, 입력 데이터는 군중과 연관된 하나 이상의 개인 디바이스의 위치를 나타낸다.

도 1은 본 발명의 실시예에 따른 컴퓨터 서버/시스템의 블록도이다.
도 2 내지 도 7은 본 발명의 실시예에 따른 햅틱 시스템에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다.
도 8은 본 발명의 실시예에 따른 햅틱 기능을 수행할 때 도 1의 군중 기반의 햅틱 모듈의 동작의 흐름도이다.

한 실시예는, 콘텐츠에서 햅틱을, 더 구체적으로는, 라이브 콘서트(또는 미리기록된 콘텐츠)에서 햅틱을 제공하여 사용자가 라이브 이벤트 또는 미리기록된 이벤트의 분위기를 경험하는 것을 허용하는 것이다. 한 실시예는 라이브 미디어 방송으로부터의 입력 신호(예를 들어, 오디오 신호, 센서 신호, 인간 오퍼레이터에 의해 입력된 신호 등)를 햅틱 효과를 발생시켜 라이브 또는 미리기록된 이벤트의 분위기를 모방하는데 이용될 수 있는 햅틱 신호로 변환한다. 한 실시예에서, 햅틱 신호는 군중 키 요소(예를 들어, 군중 분위기, 응원, 야유 등) 또는 군중이 관찰하는 이벤트 요소(예를 들어, 게임 강도 레벨, 게임 이벤트 등)에 대응한다. 한 실시예는 군중의 개인 디바이스들에 의해 수집된 햅틱 데이터를 이용하고 원격 햅틱 피드백의 제공에 있어서 그것을 이용한다. 따라서, 라이브 이벤트에 물리적으로 참석하는 경험을 모방하는 햅틱 효과를 전달함으로써, 실시예는 이벤트의 개선된 가상 경험을 제공한다.

도 1은 본 발명의 한 실시예에 따른 시스템(10)의 블록도를 나타낸다. 한 실시예에서, 시스템(10)은 모바일 디바이스의 일부이고, 시스템(10)은 모바일 디바이스에 대한 햅틱 변환 기능을 제공한다. 또 다른 실시예에서, 시스템(10)은 어떤 식으로든 사용자와 접촉하는 물체(예를 들어, 가구) 내에 병합되는 디바이스의 일부이고, 시스템(10)은 이러한 디바이스에게 햅틱 변환 기능을 제공한다. 예를 들어, 한 실시예에서, 시스템(10)은 웨어러블 디바이스의 일부이고, 시스템(10)은 웨어러블 디바이스에게 햅틱 변환 기능을 제공한다. 웨어러블 디바이스의 예는, 팔찌, 머리띠, 안경, 반지, 다리 밴드, 의류에 통합된 어레이, 또는 사용자가 착용할 수 있거나 사용자가 유지할 수 있는 기타 임의 유형의 디바이스를 포함한다. 일부 웨어러블 디바이스들은, 이들이 햅틱 효과를 발생시키는 메커니즘을 포함한다는 것을 의미하는 "햅틱적으로 인에이블된" 것일 수 있다. 또 다른 실시예에서, 시스템(10)은 디바이스(예를 들어, 모바일 디바이스 또는 웨어러블 디바이스)로부터 분리되고, 디바이스에게 햅틱 변환 기능을 원격으로 제공한다.

단일 시스템으로서 도시되어 있지만, 시스템(10)의 기능은 분산형 시스템으로서 구현될 수 있다. 시스템(10)은, 정보를 전달하기 위한 버스(12) 또는 기타의 통신 메커니즘, 및 버스(12)에 결합되어 정보를 처리하기 위한 프로세서(22)를 포함한다. 프로세서(22)는 임의 유형의 범용 또는 특별 목적 프로세서일 수 있다. 시스템(10)은, 프로세서(22)에 의해 실행될 명령어와 정보를 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는, 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크 등의 정적 스토리지, 또는 기타 임의 유형의 컴퓨터 판독가능한 매체의 임의의 조합으로 구성될 수 있다.

컴퓨터 판독가능한 매체는, 프로세서(22)에 의해 액세스될 수 있고, 휘발성 및 비휘발성 매체 양쪽 모두, 착탈식 및 비착탈식 매체, 통신 매체, 및 저장 매체를 포함할 수 있는 임의의 이용가능한 매체일 수 있다. 통신 매체는, 컴퓨터 판독가능한 명령어, 데이터 구조, 프로그램 모듈, 또는 캐리어파나 기타의 트랜스포트 메커니즘 등의 변조된 데이터 신호로 된 기타의 데이터를 포함할 수 있고, 본 기술분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는, RAM, 플래시 메모리, ROM, 소거가능하고 프로그램가능한 판독 전용 메모리("EPROM"), 전기적으로 소거가능하고 프로그램가능한 판독 전용 메모리("EEPROM"), 레지스터, 하드 디스크, 착탈식 디스크, 컴팩트 디스크 판독 전용 메모리("CD-ROM"), 또는 본 기술분야에 공지된 기타 임의의 형태의 저장 매체를 포함할 수 있다.

한 실시예에서, 메모리(14)는, 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은, 시스템(10) 뿐만 아니라 한 실시예에서는 모바일 디바이스의 나머지에게 운영 체제 기능을 제공하는 운영 체제(15)를 포함한다. 모듈들은, 이하에서 더 상세히 개시되는 바와 같이, 햅틱 기능을 제공하는 군중 기반의 햅틱 모듈(16)을 더 포함한다. 소정 실시예에서, 군중 기반의 햅틱 모듈(16)은 복수의 모듈을 포함할 수 있고, 여기서, 각각의 모듈은 햅틱 효과를 제공하기 위한 특정한 개별 기능을 제공한다. 시스템(10)은 통상적으로, Immersion Corporation에 의한 Integrator™ 소프트웨어와 같은, 추가적인 기능을 포함하는 하나 이상의 추가 애플리케이션 모듈(18)을 포함할 것이다.

시스템(10)은, 원격 소스로부터 데이터를 전송 및/또는 수신하는 실시예들에서, 네트워크 인터페이스 카드 등의 통신 디바이스(20)를 더 포함하여, 적외선, Wi-Fi, 또는 셀룰러 네트워크 통신 등의, 모바일 무선 네트워크 통신을 제공한다. 다른 실시예에서, 통신 디바이스(20)는, Ethernet 접속 또는 모뎀 등의, 유선 네트워크 접속을 제공한다.

프로세서(22)는 또한, 버스(12)를 통해, 그래픽 표현이나 사용자 인터페이스를 사용자에게 디스플레이하기 위한 액정 디스플레이("LCD") 등의 디스플레이(24)에 결합된다. 디스플레이(24)는, 프로세서(22)로부터 신호를 수신 및 전송하도록 구성된 터치 스크린 등의 터치-감응 입력 디바이스이거나, 멀티-터치 터치 스크린일 수도 있다.

시스템(10)은, 한 실시예에서, 액추에이터(26)를 더 포함한다. 프로세서(22)는 햅틱 효과와 연관된 햅틱 신호를 액추에이터(26)에 전송할 수 있고, 그러면, 액추에이터(26)는, 진동촉각 햅틱 효과, 정전 마찰 촉각 햅틱 효과, 또는 변형 햅틱 효과 등의 햅틱 효과를 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함한다. 액추에이터(26)는, 예를 들어, 전기 모터, 전기-자기 액추에이터, 음성 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터("ERM"), 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고 대역폭 액추에이터, 또는 전기활성 폴리머("EAP") 액추에이터일 수 있다. 대안적 실시예에서, 시스템(10)은, (도 1에 도시되지 않은) 액추에이터(26) 외에도 하나 이상의 추가 액추에이터를 포함할 수 있다.

액추에이터(26)는 햅틱 출력 디바이스의 예이고, 여기서, 햅틱 출력 디바이스는, 구동 신호에 응답하여, 진동촉각 햅틱 효과, 정전 마찰 햅틱 효과, 변형 햅틱 효과 등의, 임의 형태의 햅틱 효과를 출력하도록 구성된 디바이스이다. 따라서, 대안적 실시예에서, 액추에이터(26)는, 정전 마찰("ESF"; electrostatic friction) 또는 초음파 표면 마찰("USF"; ultrasonic surface friction)을 이용하는 디바이스 등의 비-기계적 또는 비-진동형 디바이스, 초음파 햅틱 트랜스듀서로 음향 복사 압력을 유도하는 디바이스, 햅틱 기판 및 가요성의 또는 변형가능한 표면이나 형상 변경 디바이스를 이용하고 사용자의 신체에 부착될 수 있는 디바이스, 에어 제트, 레이저-기반의 투사체, 사운드-기반의 투사체 등을 이용한 공기의 퍼프(puff) 등의 프로젝팅된 햅틱 출력을 제공하는 디바이스일 수 있는 어떤 다른 유형의 햅틱 출력 디바이스(도시되지 않음)로 대체될 수 있다.

예를 들어, 한 실시예는, 레이저 에너지가 농축된 공중 영역의 공기 분자를 이온화하여 플라즈마(양성 입자와 음성 입자의 농축된 혼합)를 제공하는 레이저-기반의 투사체를 제공한다. 한 실시예에서, 레이저는 매우 빠르고 매우 강렬한 페이스로 펄스로 방출하는 펨토초 레이저(femtosecond laser)일 수 있고, 레이저가 빠를수록 인간이 터치하기에 더 안전하다. 투사체는 햅틱이며 상호작용형인 홀로그램으로서 나타날 수 있다. 플라즈마가 사용자 피부와 접촉하면, 사용자는 농축된 영역의 이온화된 공기 분자들의 진동을 느낄 수 있다. 사용자 피부 상의 감각은 사용자가 공중의 플라즈마와 상호작용할 때 발생되는 파동에 의해 야기된다. 따라서, 이러한 농축된 영역에 사용자를 노출시킴으로써 햅틱 효과가 사용자에게 제공될 수 있다. 대안으로서 또는 추가적으로, 사용자를 지향된 사운드 에너지에 의해 발생된 진동에 노출시킴으로써 사용자에게 햅틱 효과가 제공될 수 있다.

또한, 다른 대안적 실시예에서, 시스템(10)은 액추에이터(26) 또는 기타 임의의 햅틱 출력 디바이스를 포함하지 않을 수도 있고, 시스템(10)과는 별개의 디바이스가 햅틱 효과를 발생시키는 액추에이터 또는 또 다른 햅틱 출력 디바이스를 포함하고, 시스템(10)은 발생된 햅틱 신호를 통신 디바이스(20)를 통해 그 디바이스에 전송한다.

시스템(10)은, 한 실시예에서, 스피커(28)를 더 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)에 전송할 수 있고, 결국 스피커(28)는 오디오 효과를 출력한다. 스피커(28)는, 예를 들어, 동적 확성기, 전기력 확성기, 압전 확성기, 자기 변형 확성기, 정전 확성기, 리본 및 평면 자기 확성기, 굴곡파 확성기, 플랫 패널 확성기, 하일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 확성기일 수 있다. 대안적 실시예에서, 시스템(10)은, (도 1에 도시되지 않은) 스피커(28) 외에도 하나 이상의 추가 스피커를 포함할 수 있다. 또한, 다른 대안적 실시예에서, 시스템(10)은 스피커(28)를 포함하지 않을 수도 있고, 시스템(10)과는 별개의 디바이스가 오디오 효과를 출력하는 스피커를 포함하고, 시스템(10)은 오디오 신호를 통신 디바이스(20)를 통해 그 디바이스에 전송한다.

시스템(10)은, 한 실시예에서, 센서(30)를 더 포함한다. 센서(30)는, 에너지의 형태, 또는 사운드, 움직임, 가속도, 생리학적 신호, 거리, 흐름, 힘/압력/변형/굽힘, 습도, 선형 위치, 배향/경사, 무선 주파수, 회전 위치, 회전 속도, 스위치의 조작, 온도, 진동, 또는 가시광 강도 등의 그러나 이것으로 제한되지 않는 기타의 물리적 속성을 검출하도록 구성될 수 있다. 센서(30)는 또한, 검출된 에너지, 또는 기타의 물리적 속성을 전기 신호, 또는 가상 센서 정보를 표현하는 임의의 신호로 변환하도록 구성될 수 있다. 센서(30)는, 가속도계, 심전도, 뇌파, 뇌전도, 근전계, 전기안구도, 전기구개도, 갈바니 피부 감응 센서, 용량식 센서, 홀 효과 센서, 적외선 센서, 초음파 센서, 압력 센서, 광섬유 센서, 굴곡 센서 (또는 벤드 센서), 외력-감응 저항기, 부하 셀, LuSense CPS2 155, 소형의 압력 트랜스듀서, 압전 센서, 변형 게이지, 습도계, 선형 위치 터치 센서, 선형 전위차계(또는 슬라이더), 선형 가변 차동 변환기, 나침반, 경사계, 자기 태그(또는 무선 주파수 식별 태그), 회전 인코더, 회전식 전위차계, 자이로스코프, 온-오프 스위치, 온도 센서(온도계, 열전대, 저항 온도 검출기, 서미스터 또는 온도-변환 집적 회로 등), 마이크로폰, 광도계, 고도계, 생물학적 모니터, 카메라, 광 가변 저항기 등의 그러나 이것으로 제한되지 않는 임의의 디바이스일 수 있다.

대안적 실시예에서, 시스템(10)은, (도 1에 도시되지 않은) 센서(30) 외에도 하나 이상의 추가 센서를 포함할 수 있다. 이들 실시예들 중 일부에서, 센서(30)와 하나 이상의 추가 센서는 센서 어레이 또는 어떤 다른 유형의 센서들의 집합의 일부일 수 있다. 또한, 다른 대안적 실시예에서, 시스템(10)은 센서(30)를 포함하지 않을 수도 있고, 시스템(10)과는 별개의 디바이스가 에너지의 형태 또는 기타의 물리적 속성을 검출하는 센서를 포함하고, 검출된 에너지 또는 기타의 물리적 속성을 전기 신호 또는 가상 센서 정보를 표현하는 다른 유형의 신호로 변환한다. 그러면, 디바이스는 변환된 신호를 통신 디바이스(20)를 통해 시스템(10)에 전송할 수 있다.

일반적으로, 공지된 시스템에서, 사용자는 대응하는 햅틱 감각을 수신하면서 원격으로 및 가상으로 이벤트에 참석하거나 미리기록된 이벤트를 시청할 수 있다. 예를 들어, D-BOX Technologies Inc.에 의해 제공되는 움직임 시스템은 특정한 시각적 콘텐츠와 동기화하여 움직임 효과를 제공해 시청자에 의한 시각적 콘텐츠의 더 현실적 경험을 허용한다. 이러한 움직임 시스템은 미디어 클립의 저주파 오디오 콘텐츠를 이용하거나 인간의 저작을 이용하여 햅틱 효과를 생성한다. Guitammer Company에 의한 "Buttkicker" 시스템 등의 어떤 다른 공지된 시스템은 원격 사용자가 느끼는 시각적/청각적 효과를 향상시키는 햅틱 효과를 생성한다. Buttkicker 시스템은 저주파 오디오 콘텐츠 뿐만 아니라 경기장 내의 센서들을 이용하여 게임플레이의 요소들을 포착한다. Fanmode Company에 의한 "Fanmode" 애플리케이션 등의 어떤 다른 공지된 시스템은 원격 사용자가 원격 사용자의 피드백(예를 들어, 손 흔들기, 환호성 등)을 다시 경기장으로 중계함으로써 라이브 스포츠 게임의 경기장 상호작용에 참여하는 것을 허용한다. 이들 공지된 시스템에서, 사용자는 라이브 이벤트 또는 미리기록된 이벤트에 원격으로 및 가상으로 참석할 수 있지만, 직접 그 이벤트에 참석하는 사용자가 경험할 수 있는 이벤트의 분위기의 경험을 적어도 부분적으로 놓친다.

공지된 시스템과는 대조적으로, 본 발명의 일부 실시예는 드라마틱한 순간 및 군중 분위기(예를 들어, 군중 에너지, 긴장, 응원 등)와 같은 이벤트(예를 들어, 스포츠 이벤트, 콘서트, 쇼 등)의 분위기에 대응하는 요소들을 포착하는 햅틱 피드백을 제공한다. 실시예들은 이 햅틱 피드백을 원격 사용자에게 다시-렌더링한다. 한 실시예는, 오디오, 비디오, 및/또는 센서 신호에 기초하여, 이벤트의 시청자 또는 참석자가 입력한 데이터에 기초하여 군중 분위기 추론을 수행한 다음, 추론된 군중 분위기에 대응하는 햅틱 피드백을 제공한다. 추가의 실시예는 군중의 개인 디바이스들에 의해 수집된 햅틱 데이터를 이용하고 원격 햅틱 피드백의 제공에 있어서 그것을 이용한다. 따라서, (예를 들어, 이벤트가 멀리 있거나, 이벤트가 과거에 일어났을 때) 사용자가 이벤트에 직접 참석할 수 없을 때, 실시예는 그 이벤트의 청각/시각적 기록된 콘텐츠보다 많은 것을 포착하는 햅틱 피드백을 제공하여 사용자가 실제 참석자가 보고, 듣고, 느낄 수 있는 것을 보고, 듣고, 또는 느끼게 할 수 있다.

한 실시예에서, 군중 및/또는 이벤트 관련된 데이터가 포착된 다음 분석되어 원격 사용자에게 햅틱으로 제공될 수 있는 관련 움직임과 키 요소들을 검출한다. 이러한 요소들은, 예를 들어, 군중 응원, 야유, 특정한 리듬의 구호, 심판에게 고함지르기, 발로 구르기, 박수 등을 포함할 수 있다. 한 실시예에서, 이들 키 요소들은 포착된 오디오 신호로부터(예를 들어, 이벤트의 주 오디오 피드로부터, 군중 전용의 오디오 피드로부터, 군중의 개인 디바이스들에 의해 기록된 오디오 또는 비디오 데이터로부터 등) 유추된다. 한 실시예에서, 오디오 이벤트 검출은, 예를 들어, 참조로 그 전체내용이 본 명세서에 포함되는, 미국 특허 출원 제14/078,445호에서 설명된 바와 같이 수행될 수 있다.

한 실시예에서, 일단 키 요소가 검출되고 나면, 이것은 키 요소 특성(예를 들어, 강도, 길이 등)과 정합하도록 튜닝될 수 있는 (예를 들어, 데이터베이스에 저장된 설계된 효과의 조회 테이블에 기초한) 설계된 효과를 이용함으로써 햅틱화된다. 추가의 또는 대안적 실시예에서, 식별된 키 요소는, 예를 들어, 각각이 참조로 그 전체내용이 본 명세서에 포함되는, 미국 특허 출원 제14/078,442호, 미국 특허 출원 제14/078,445호, 미국 특허 출원 제14/020,461호, 및/또는 미국 특허 출원 제14/020,502호에서 설명된 바와 같은 오디오 대 햅틱 변환 알고리즘을 이용함으로써 햅틱화된다.

한 실시예에서, 다른 군중 요소들은 라이브 이벤트에 놓인 센서들 및/또는 군중의 개인 디바이스들 내의 또는 그에 부착된 센서들을 통해 포착될 수 있다. 예를 들어, 사람들이 일어서거나, 이벤트를 떠나거나, 소정 기간 동안 앉아 있는 등의 군중 요소는, 군중 좌석 상에, 아래에, 또는 그 부근에 설치된 센서들을 통해 포착될 수 있다. 대안으로서 또는 추가로, 이러한 군중 요소들은 군중의 개인 디바이스들을 통해 포착된 신호에 기초하여 포착 및/또는 식별될 수 있다. 예를 들어, 군중의 스마트폰은, 가속, 변형 등의 군중의 활동을 나타내는 신호를 측정하는데 이용될 수 있다. 또 다른 예에서, 군중의 스마트폰은 군중의 활동을 나타내는 오디오 또는 비디오 신호를 기록하는데 이용될 수 있다.

대안적 또는 추가적 실시예에서, 라이브 이벤트에 및/또는 군중의 개인 디바이스 내에 또는 이에 부착된 다양한 센서들은, 무대 상의 소스에 의해 포착된 진동, 운전하는 레이싱 차량에 의해 야기된 진동 등의, 이벤트에 관련된 햅틱 정보를 감지하는데 이용될 수 있다. 따라서, 군중 분위기 등의 군중 요소들은, 이들 햅틱 센서들에 의해 제공된 신호에 기초하여, 또는 여기서 설명된 다른 센서/디바이스/소스들로부터의 신호와 조합하여 유도될 수 있다. 한 실시예에서, 군중 분위기의 추정은 각각의 개별 신호로부터 또는 복수 그룹의 신호로부터 추론될 수 있고, 그 다음, 군중 분위기는 추정된 군중 분위기를 폴링함으로써 판정될 수 있다. 예를 들어, 한 실시예에서, 폴링이 군중의 80%가 (예를 들어, 소정 시간에서 통과하는 레이싱 차량으로 인해) 강한 햅틱 효과를 감지한다고 표시하면, 군중 분위기는 "흥분된"으로서 판정된다. 대안으로서, 복수의 소스로부터 수신된 신호는 먼저 병합/융합된 다음, 병합/융합된 신호로부터 군중 분위기가 추론될 수 있다.

한 실시예에서, 이러한 군중 정보(예를 들어, 군중의 활동) 뿐만 아니라 플레이어나 공연자 움직임(예를 들어, 가속, 속도 등)을 기술하는 데이터와 군중 오디오 피드(및/또는 군중의 개인 디바이스에 의해 포착된 오디오 데이터)는, 군중의 분위기, 게임/이벤트 드라마틱한 강도 및 클라이맥스 등의 이벤트 특성을 추론하는데 이용될 수 있다. 한 실시예에서, 이러한 이벤트 특성은, 게임플레이 또는 군중과 연관하여 생성된 햅틱 효과를 조절하는데 이용될 수 있다. 예를 들어, 하키 게임에서, 모든 햅틱 효과(예를 들어, 플레이어, 게임플레이, 군중 등에 관련된 햅틱 효과)는 게임 자체의 강도 레벨을 감안하여 강조(즉, 더 큰 강도가 제공)되거나 감소(즉, 더 작은 강도가 제공)될 수 있다.

한 실시예에서, 분위기, 강도, 및 게임 이벤트 등의 키 요소들의 검출은, 신경망, 지원 벡터 머신("SVM", support vector machine), Bayesian 네트워크 등의 인공 지능("AI") 기반의 모델을 이용하여 수행된다. AI 기반의 모델은, 센서들(예를 들어, 압력 센서, 가속도 센서, 오디오 피드, 군중 개인 디바이스 등)로부터 데이터를 수신하고, 이러한 데이터에서 생기는 가장 가능성있는 분위기 또는 강도 레벨 등의 요소들을 추론하며, 이들 요소들을 이용하여 게임이나 이벤트에 관련된 햅틱 효과를 튜닝/조절한다.

대안적 또는 추가적 실시예에서, 키 요소들(예를 들어, 군중 응원, 야유 등) 및/또는 이벤트 특성들(예를 들어, 분위기, 강도 등)은 외부 관찰자/큐레이터(즉, 인간 오퍼레이터)에 의해 식별된다. 그러면, 외부 관찰자/큐레이터의 명령 및 키 요소들의 특성들(예를 들어, 크기, 지속기간 등)은 키 요소들을 대응하는 미리 구성된 햅틱 효과와 연관시키는 미리 구성된 조회 테이블을 이용하여 햅틱 효과로 변환된다. 대안으로서 또는 추가적으로, 식별된 키 요소들 및 이벤트 특성들은 오디오 또는 데이터를 햅틱 효과를 변환하는 대응하는 변환 알고리즘을 이용하여 햅틱 효과로 변환될 수 있다.

한 실시예에서, 최종 사용자에 의해 이벤트가 라이브로 시청되고, 햅틱 효과를 생성하는데 이용된 오디오 및 감각 데이터, 햅틱 효과 트랙 그 자체, 및/또는 오퍼레이터 명령은 실시간으로 최종 사용자 디바이스에 전송된다. 대안적 실시예에서, 이벤트는 나중의 시간에 시청되고, 햅틱 효과를 생성하는데 이용된 오디오 및 감각 데이터, 햅틱 효과 트랙 그 자체, 및/또는 오퍼레이터 명령은 나중의 시간에 최종 사용자에게 디스플레이/제공되기 위하여 대응하는 미디어 콘텐츠와 함께 저장된다.

한 실시예에서, 햅틱 효과는 이벤트의 전송 체인의 상이한 부분들에서 발생될 수 있다. 예를 들어, 햅틱 효과는, 감각/오디오 데이터 또는 명령을 이용하여 사용자 재생 디바이스에서, 또는 데이터와 명령을 수신한 다음 햅틱 효과를 최종 사용자 디바이스에 전송하는 원격 서버에서 발생될 수 있다. 추가로 또는 대안으로서, 햅틱 효과는 센서에서 및/또는 군중 개인 디바이스 내에서 국지적으로 발생될 수 있다. 예를 들어, 어떤 센서 플랫폼들은 이벤트 키 요소들을 국지적으로 검출하고 및/또는 햅틱 효과 변환/튜닝을 수행하여, 발생된/튜닝된 햅틱 효과만이 센서 플랫폼으로부터 전송되도록 할 수 있게 하는 처리 능력을 가질 수 있다. 대안적 또는 추가적 실시예에서, 이벤트 장소에 위치한 전용 서버는 그 장소에서 구현된 일부 또는 모든 센서로부터 및/또는 일부 또는 모든 군중 개인 디바이스로부터 데이터를 수신한 다음, 이벤트 키 요소들을 검출하고 및/또는 햅틱 효과 변환/튜닝을 수행할 수 있다.

한 실시예에서, 군중 또는 이벤트와 관련된 햅틱 효과는 임의의 햅틱 재생 미디어 상에서 사용자에게 제공될 수 있다. 예를 들어, 햅틱 효과는, 모바일 디바이스(예를 들어, 태블릿, 스마트폰 등), 웨어러블 디바이스(예를 들어, 팔찌, 스마트 의류 등), 액추에이터 장착된 가구, 햅틱 가능형 헤드 마운트 디스플레이(Oculus Rift 등의 "HMD") 등에 제공될 수 있다. 이들 실시예에서, 오디오/비디오 미디어 콘텐츠는 햅틱 효과를 제공하는 미디어와 동일한 미디어 상에, 또는 재생 능력을 갖춘 기타 임의의 미디어(예를 들어, 텔레비전) 상에 디스플레이될 수 있다.

한 실시예에서, 최종 사용자는 햅틱 재생 디바이스 사용자 인터페이스를 이용하여 햅틱 경험을 자신의 취향에 따라 맞춤화할 수 있다. 예를 들어, 최종 사용자는, 어떤 이벤트를 강조하거나 어떤 다른 이벤트를 무시하도록 햅틱 재생을 구성할 수 있다. 예를 들어, 한 실시예에서, 특정한 이벤트를 무시하는 사용자 선호도에 기초하여, 햅틱 재생은 그 이벤트가 발생할 때 햅틱 효과를 생성하지 않는다. 대안적 또는 추가적 실시예에서, 사용자가 소정 이벤트를 무시하는 선호도를 표시하면, 대응하는 햅틱 효과는 사용자에게 전송 또는 재생되지 않는다. 유사하게, 특정한 이벤트를 강조하는 사용자 선호도에 기초하여, 그 이벤트에 관련된 햅틱 효과는 그 이벤트가 발생할 때 더 높은 강도로 사용자에게 디스플레이/제공되지 않는다.

한 실시예에서, 최종 사용자는 이벤트시에 특정 위치 또는 관점("POV"; point of view)과 연관된 피드백을 제공하도록 햅틱 재생을 구성할 수 있다. 예를 들어, 사용자 선호도에 기초하여, 장소에 구현된 센서들 및/또는 군중 개인 디바이스들로부터의 데이터의 서브셋만이 햅틱 재생을 제공하는데 이용될 수 있다. 예를 들어, 최종 사용자가 이벤트 장소의 특정 위치에 있는 것처럼 이벤트를 원격으로 경험하는 것에 대한 선호도를 표시하면, 오직 그 위치에 또는 그 주변에 또는 그와 연관되어 구현된 센서들로부터의 데이터 및/또는 그 위치에 또는 그 주변에 있는 군중 개인 디바이스들로부터의 데이터가 햅틱 피드백을 원격 사용자에게 제공하는 데 이용된다.

한 실시예에서, 사용자는 햅틱 가능형 환경에서 원격 또는 미리기록된 이벤트를 시청할 수 있다. 예를 들어, 사용자가 햅틱 가능형 룸에서 이벤트를 시청하거나, 웨어러블 햅틱가능형 디바이스를 이용하거나, 가상 현실("VR") 시스템(예를 들어, NextVR 또는 Occulus Rift 등의 HMD) 등을 이용할 수 있다. 그 이벤트 동안에 관심있는 이벤트가 발생하고 사용자가 관심갖는 어떤 것(예를 들어, 하키 게임 동안의 히트)에 대응하면, 시스템은 (예를 들어, 센서를 이용하거나 큐레이터를 통해) 그 이벤트를 식별하고 그 이벤트 또는 전처리된 버전의 이벤트를 사용자 재생 시스템에 전송하여 그 이벤트에 대응하는 햅틱 효과를 제공한다. 따라서, 사용자는 햅틱 렌더링 시스템을 통해 이벤트를 "느낀다".

한 실시예에서, 상이한 "유형의" 햅틱 효과들은 상이한 유형의 이벤트들에 대응할 수 있다. 예를 들어, 한 실시예에서, 상이한 햅틱 효과들은 다양하고 구분적이어서 사용자가 군중이 흥분해 있는지 또는 느긋해 있는지를 알게 해준다. 추가적 또는 대안적 실시예에서, 한 유형의 햅틱 효과들은 군중 키 요소들에 관하여 제공될 수 있고, 상이한 유형의 햅틱 효과들은 공연자/플레이어/게임플레이 이벤트들에 관하여 제공될 수 있다. 한 실시예에서, 햅틱 효과들은 하나 이상의 파라미터를 변동시킴으로써 다양하고 다른 햅틱 효과들로부터 구분될 수(즉, 상이한 햅틱 효과 유형) 있다. 일반적으로, 특정한 햅틱 효과를 정의하는 고수준 파라미터들로는, 크기, 빈도, 및 지속기간이 포함된다. 스트리밍 모터 명령(streaming motor command) 등의 저수준 파라미터도 역시 특정한 햅틱 효과를 판정하는데 이용될 수 있다. 이들 파라미터들의 어떤 변형은 햅틱 효과의 느낌을 변경할 수 있고, 나아가, 햅틱 효과가 "동적"인 것으로 간주되게 할 수 있다. 예시적 유형의 햅틱 효과로서는, 진동, 충격, 디텐트(detent), 팝(pop) 등이 포함되고, 이들 햅틱 효과들 각각의 파라미터들은 상이한 햅틱 효과를 야기하도록 변경될 수 있다. 한 예에서, 제1 유형의 햅틱 효과는 군중 키 요소(예를 들어, 응원, 야유 등)를 표시할 수 있는 반면, 제2 유형의 햅틱 효과는 게임플레이 이벤트(예를 들어, 점수, 타임아웃 등)를 표시할 수 있다. 또한, 군중 응원, 군중 야유 등의 상이한 정보를 나타내기 위해 상이한 유형들의 햅틱 효과들이 이용될 수 있다.

한 예에서, 사용자는 어떤 음악 밴드에 관심이 있지만 그 음악 밴드가 라이브 공연을 위해 스케쥴링되어 있는 위치로부터 너무 먼 곳에 살 수도 있다. 사용자는 대신에 인터넷을 통해 그 공연의 라이브 방송을 시청하면서 장면의 강도와 에너지를 렌더링하는 햅틱 피드백을 수신할 수 있다. 한 실시예에서, 사용자는, 공연에 관련된 햅틱 효과를 제공하는 햅틱 의자에 앉아서, 홈 씨어터(home theater) 시스템 및 고선명 텔레비전을 이용하여 자신의 집에서 편안하게 공연을 시청할 수 있다. 예를 들어, 그 의자는 군중들이 일제히 구호를 외치는 공연의 가장 드라마틱한 순간에 진동할 수 있다. 한 실시예에서, 대응하는 고수준 파라미터(예를 들어, 크기, 빈도, 지속기간 등), 대응하는 저수준 파라미터(예를 들어, 스트리밍 모터 명령 등), 또는 이들 파라미터들의 변형 또는 조합을 변경하여 햅틱 효과의 느낌을 변경해 예를 들어 햅틱 효과가 "동적인" 것으로 간주되게 함으로써, 햅틱 효과는 튜닝/조절될 수 있다.

한 실시예에서, 군중 분위기를 추론할 때, 이벤트의 강도 및 군중의 흥분과 같은 군중 요소들이 판정되고, 대응하는 햅틱 효과가 그에 따라 튜닝/조절된다. 한 실시예에서, 키 요소에 대응하는 햅틱 효과의 파라미터들은 동일한 키 요소 또는 상이한 키 요소의 특성들에 따라 튜닝/조절될 수 있다. 예를 들어, 군중 분위기를 렌더링하는 햅틱 효과는 군중 분위기 요소의 강도에 따라 및/또는 게임의 강도 또는 게임플레이 이벤트의 발생에 따라 튜닝될 수 있다.

한 실시예에서, 오디오 피드 또는 기타의 이벤트 관련된 신호에서 소정 이벤트를 판정하고 이들 이벤트에 대응하는 부분만을 햅틱화함으로써, 향상된, 타겟팅된, 및 구성가능한 햅틱 피드백이 사용자에게 제공된다. 또한, 전체 신호가 아니라 신호의 특정한 부분들이 햅틱화되기 때문에, 실시예들은 신호의 이들 부분들을 위해 구성되고 대응하는 이벤트들에 관련된 햅틱 변환 알고리즘을 이용하여 더욱 정확하고 향상된 햅틱 피드백을 제공할 수 있다.

실시예들은 임의의 라이브 또는 미리기록된 이벤트에 적용가능하다. 실시예들은 라이브 군중이 수반되는 이벤트의 임의의 오디오/비디오 표현에 적용가능하며, 여기서 라이브 군중이 느끼는 이벤트의 분위기를 렌더링하기 위해 햅틱 효과가 이용된다.

한 실시예에서, 이벤트 또는 라이브 군중에 대응하는 오디오, 비디오, 햅틱, 및 감각 신호 등의 이벤트 신호는 군중의 사용자 다바이스들, 예를 들어, 스마트폰, 웨어러블 디바이스, 생리학적 센서 등으로부터 획득될 수 있다. 예를 들어, 이벤트의 햅틱 신호는 군중 개인 디바이스에 의해 변형, 가속도, 진동, 오디오 등의 형태로 포착될 수 있다. 한 실시예에서, 이러한 사용자 디바이스는 이벤트 신호를 인터넷 등의 임의의 통신 매체를 통해 전달할 수 있고, 햅틱 효과는 통신 매체로부터 이벤트 신호를 획득함으로써 발생될 수 있다. 예를 들어, 한 실시예에서, 이벤트 신호는 군중 개인 디바이스(예를 들어, 라이브 이벤트에 참석한 개인의 스마트폰에 부착되거나 그 내부에 임베딩될 수 있는, 마이크로폰, 카메라, 가속도계 등)를 통해 포착되거나, 접촉 센서, 압력 센서, 또는 그 이벤트에 참석한 하나 이상의 사용자와 연관된 임의의 생리학적 센서로부터 획득될 수도 있다.

한 실시예에서, 생리학적 센서는 군중 분위기 등의 이벤트 키 요소를 나타내는 신호를 측정할 수 있다. 예를 들어, 생리학적 센서는, 이벤트에 참석한 개인이 경험하는 흥분의 레벨을 나타내는 신호를 제공하는 혈압 센서 또는 온도 센서를 포함할 수 있다. 한 실시예에서, 군중으로부터 다른 신호들이 측정될 수 있고 군중 키 요소를 나타내는 생리학적 신호를 획득하는데 이용될 수 있다. 예를 들어, 이벤트에 참석한 사람의 심박수를 측정하기 위해 웨어러블 디바이스가 이용될 수 있고, 심박수의 증가는 이벤트의 흥분 레벨 증가를 나타낼 수 있다. 따라서, 대응하는 햅틱 효과가 원격 사용자에게 제공될 수 있다.

한 실시예에서, 군중의 부분집합이 움직이고 있는지를(예를 들어, 다수의 참석자가 춤추거나 흔들고 있는지를) 식별하기 위해 군중의 사용자 디바이스가 폴링될 수 있고, 군중 분위기가 그에 따라 추론될 수 있다. 한 실시예에서, 군중의 움직임은 웨어러블 또는 핸드헬드 사용자 디바이스 내에 구성된 (가속도계, 보행계 등의) 센서를 통해 측정될 수 있다. 한 예에서, 활기차게 움직이고 있는 참석자수가 임계치보다 많다면 군중 분위기는 흥분된 것으로 추론될 수 있다. 한 실시예에서, 하나 이상의 참석자가 그들의 사용자 디바이스 및/또는 웨어러블 디바이스를 통해 군중 정보가 수집되는 것을 허용할 수 있고, 군중 정보는 그들 사용자에 의해 정보를 공유하도록 인가된 디바이스들로부터만 발췌될 수 있다.

한 실시예에서, 군중 키 요소는 Twitter, Facebook 등의 통신 네트워크를 통해 참석자에 의해 업로드 및/또는 공유되는 이벤트 정보를 통해 획득/추론될 수 있다. 한 실시예에서, 소정 이벤트와 관련된 업로드된/공유된 이벤트 정보는, 해시태그, 위치 정보, 이벤트 명칭, 이벤트 날짜/시간 등의, 이벤트와 연관된 이벤트 식별자를 관찰함으로써 식별된다. 한 실시예에서, 어떤 이벤트 키 요소에 대한 대응하는 햅틱 효과는, 이벤트와 연관된 하나 이상의 기록에 기초하여 판정된 다음, 이러한 효과들은, 동일한 이벤트 또는 다른 이벤트에 대한 유사한 이벤트 키 요소에 대해 햅틱 효과를 렌더링할 때 재사용된다.

한 실시예에서, 사용자가 이벤트의 비디오를 생성 및 공유할 때, 그 사용자에게는 햅틱 효과를 비디오 또는 비디오의 하나 이상의 부분과 연관시키기 위한 추천/제안을 제공하는 옵션이 주어진다. 한 실시예에서, 사용자는 한 세트의 미리기록된 효과로부터 햅틱 효과를 선택하고 그 햅틱 효과를 업로드된/공유된 비디오와 또는 업로드된/공유된 비디오의 하나 이상의 부분과 연관시킬 수 있다. 한 실시예에서, 사용자는 또한, 비디오를 생성하는데 이용된 디바이스와 동일한 디바이스 또는 상이한 디바이스로 햅틱 이벤트 정보를 기록하고, 햅틱 정보를 비디오와 연관된 햅틱 트랙으로서 또는 비디오와 연관된 햅틱 트랙을 생성하는데 이용될 수 있는 햅틱 정보로서 공유할 수 있다.

한 실시예는 이벤트의 다수의 업로드된/공유된 비디오를 이용하여 이들 비디오에 의해 포착된 이벤트의 이벤트 키 요소에 관련된 햅틱 효과를 발생시킨다. 한 실시예에서, 이러한 햅틱 효과는 동일하거나 상이한 이벤트의 동일하거나 유사한 이벤트 키 요소를 포착하는 미래의 업로드된/공유된 비디오와 연관된다. 한 실시예는 복수의 군중 개인 디바이스의 포착된 햅틱 정보를 이용하여 이벤트의 햅틱 트랙을 발생시키거나 및/또는 햅틱 정보에 의해 포착된 이벤트의 이벤트 키 요소에 관련된 햅틱 효과를 발생시킨다.

한 실시예에서, 이벤트 키 요소는 참석자 및/또는 다른 원격 시청자에 의해 업로드된/공유된 이벤트 정보로부터 추론된다. 한 실시예에서는, 이벤트 키 요소는, 데이터 융합 기능을 이용하거나 및/또는 오디오 피드, 비디오 피드, 이벤트에서 구성된 참석자/플레이어/게임플레이 센서, 이벤트의 업로드된 비디오(예를 들어, 대응하는 해시태그에 기초하여 이벤트와 연관될 수 있는 비디오), 이벤트 키 요소를 나타내는 업로드된 비디오에 관해 이루어진 코멘트(예를 들어, "군중이 응원하고 있다!"), 업로드된 비디오에 관해 이루어진 소정의 코멘트의 타임스탬프, 이벤트에 관련되고 소정의 타임스탬프에서 이루어진 트윗, 군중 개인 디바이스에 의해 소싱되는 정보 등의, 정보의 다양한 소스들을 상관시킴으로써 추론될 수 있다. 한 실시예에서, 앞서언급된 정보는 다양한 이벤트를 추론하고 및/또는 대응하는 햅틱 효과를 생성하기 위해 상관되고 이용된다.

한 실시예에서, 다수의 업로드된/공유된 비디오 또는 이벤트의 햅틱 트랙들은 처리되어 소정의 이벤트의 모델 또는 소정의 이벤트 키 요소를 획득한다. 한 실시예에서, 이러한 모델은 새로운 업로드된/공유된 비디오 또는 햅틱 트랙이 이용가능할 때 동적으로 업데이트되고 미래의 비디오 또는 햅틱 트랙에 적용되어 대응하는 이벤트 또는 이벤트 키 요소를 식별하고 잠재적으로 모델을 튜닝/조절한다.

한 실시예는 방송된 라이브 이벤트에 대한 햅틱 재생 시스템을 제공하고, 햅틱 효과가 라이브 이벤트의 방송을 수신하는 원격 사용자들에게 제공된다. 한 실시예에서, 햅틱 재생 시스템은, 라이브 이벤트의 비디오 데이터와 그 비디오 데이터에 대응하는 햅틱 데이터에 대한 별개의 신호들을 수신하거나, 비디오 데이터와 햅틱 데이터를 포함하는 복합 신호를 수신하는 최종 사용자 디바이스를 포함한다. 햅틱 데이터는, 직접적인 햅틱 효과 스트림 또는 어느 햅틱 효과가 수행되어야 하는지를 나타내는 한 세트의 명령을 포함할 수 있다.

도 2는 실시예에 따른 햅틱 시스템(200)에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다. 202에서, 이벤트의 하나 이상의 오디오 피드가 수신되고 204에서 수신된 오디오 데이터에 기초하여 음향(즉, 오디오) 이벤트 검출이 수행된다. 대안으로서 또는 추가적으로, 203에서 하나 이상의 군중 디바이스(예를 들어, 이벤트에 참석하는 군중의 개인 디바이스들)로부터 오디오 데이터가 수신될 수 있다. 오디오 이벤트 검출에 기초하여, 206에서, 이벤트의 키 요소들이 식별된다. 한 실시예에서, 키 요소들은, 응원, 야유 등의 군중 키 요소들에 대응할 수 있다. 208에서, 이벤트의 오디오 신호 내의 검출된 군중 키 요소들에 대해서만 오디오 대 햅틱 변환이 수행되고, 210에서, 대응하는 군중 햅틱 효과가 최종 사용자에게 제공된다.

도 3은 실시예에 따른 햅틱 시스템(300)에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다. 햅틱 시스템(300)은, 도 2의 햅틱 시스템(200)에서와 동일한 기능들을 202, 203, 204, 206, 및 210에서 수행한다. 그러나, 햅틱 시스템(300)에서, 일단 군중 키 요소들이 206에서 식별되고 나면, 302에서, 각각의 식별된 군중 키 요소에 대해 미리 설정된 효과가 튜닝되고 주입된다. 미리 설정된 효과는 소정의 군중 키 요소를 식별하는 것에 응답하여 사용자에게 제공될 햅틱 효과의 특성에 대응할 수 있다. 예를 들어, 응원, 야유 등의 각각의 식별된 군중 키 요소에 대해, 강도, 지속기간 등의 미리 설정된 효과가 판정될 수 있고, 이러한 미리 설정된 효과를 갖는 햅틱 효과가 210에서 최종 사용자에게 제공된다.

도 4는 실시예에 따른 햅틱 시스템(400)에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다. 402, 404, 406, 424, 및 426에서, 이벤트 정보는, 군중 센서 및/또는 플레이어/게임플레이 센서 및/또는 하나 이상의 오디오 피드 및/또는 업로드된/공유된 정보 및/또는 군중 디바이스들을 통해 수신된다. 한 실시예에서, 군중 센서는, 군중 좌석들 상에, 아래에, 또는 그 부근에 놓인 압력 센서를 포함할 수 있다. 한 실시예에서, 업로드된/공유된 정보는, 예를 들어, 이벤트 참석자들에 의해 그들의 개인 통신 디바이스를 통해 공유된 정보, 소셜 네트워크 상의 이벤트의 시청자들에 의해 공유된 정보, 인터넷 상에서 업로드된 이벤트의 비디오, 이벤트에 관련된 트윗, 이벤트에 관련된 비디오나 트윗에 관한 코멘트 등을 포함한다. 408에서, 군중 디바이스들로부터 수신된 오디오 피드 신호 및/또는 오디오 데이터에 관해 오디오 분석이 수행된다. 한 실시예에서, 오디오 분석은 음향 이벤트 검출을 포함한다. 대안적 실시예에서, 오디오 분석은, 오디오 피드 평균 음량/강도, 특정한 주파수 범위 콘텐츠 등의 하나 이상의 오디오 속성들을 검출하는 것을 포함한다.

410에서, 402, 404, 408, 424, 및 426으로부터의 이벤트 신호들이 AI 검출 지원 모델에 피딩되어 다양한 키 요소들을 식별한다. 412, 414, 및 416에서, 군중 분위기 및/또는 게임 강도 레벨 및/또는 게임 이벤트 등의 이벤트 키 요소들이 각각 식별된다. 418에서, 식별된 키 요소들이 이용되어 420으로부터 획득된 햅틱 트랙을 튜닝한다. 예를 들어, 한 실시예에서, 식별된 키 요소들은 햅틱 트랙에서 특정한 햅틱 효과의 강도 및 지속기간을 튜닝하는데 이용될 수 있다. 한 실시예에서, 햅틱 트랙은 저작되거나 이벤트로부터의 오디오/비디오/센서/햅틱 정보로부터의 변환에 의해 획득될 수 있다. 마지막으로, 422에서, 튜닝된 햅틱 트랙이 최종 사용자에게 제공된다.

도 5는 실시예에 따른 햅틱 시스템(500)에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다. 햅틱 시스템(500)은, 도 2의 햅틱 시스템(200)에서와 동일한 기능들을 206, 208, 및 210에서 수행한다. 그러나, 햅틱 시스템(500)에서는, 502에서 이벤트 정보가 인간 오퍼레이터에 의해 큐레이팅되어 206에 제공된다. 한 실시예에서, 인간 오퍼레이터는 이벤트 현장에 있거나, 이벤트로부터 오디오/비디오 피드를 수신할 수 있다. 한 실시예에서, 인간 오퍼레이터는, 응원, 야유 등의 군중 키 요소들에 대응하는 이벤트들을 플래깅하는 피드백을 제공한다.

도 6은 실시예에 따른 햅틱 시스템(600)에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다. 햅틱 시스템(600)은, 도 5의 햅틱 시스템(500)에서와 동일한 기능들을 502, 206, 및 210에서 수행한다. 그러나, 햅틱 시스템(600)에서는, 일단 군중 키 요소들이 206에서 식별되고 나면, 302에서, 도 3을 참조하여 여기서 설명된 바와 같이 각각의 식별된 군중 키 요소에 대해 미리 설정된 효과가 튜닝되고 주입되며, 이러한 미리 설정된 효과를 갖는 햅틱 효과가 210에서 최종 사용자에게 제공된다.

도 7은 실시예에 따른 햅틱 시스템(700)에 의해 수행되는 햅틱 기능의 흐름도를 나타낸다. 햅틱 시스템(700)은, 도 4의 햅틱 시스템(400)에서와 동일한 기능들을 412, 414, 416, 418, 420, 및 422에서 수행한다. 그러나, 햅틱 시스템(700)에서는, 502에서 이벤트 정보가 도 5를 참조하여 여기서 설명된 바와 같이 인간 오퍼레이터에 의해 큐레이팅된다. 그러면 이러한 이벤트 정보는 412, 414, 및 416에서 이벤트 키 요소를 식별하는데 이용된다.

한 실시예는 군중 개인 디바이스(예를 들어, 스마트폰, 웨어러블 디바이스 등)를 이용하여 이벤트의 비디오 트랙과 함께 나중의/원격 재생을 위해 햅틱 트랙(예를 들어, 진동)을 기록한다. 한 실시예에서, 군중은 각각의 디바이스에 의해 기록된 햅틱 트랙과 비디오/오디오 트랙을 연관시키도록 지시받는다. 한 실시예는 이러한 군중 개인 디바이스들 중 하나 이상에서 햅틱 센서들의 어레이를 구현할 수 있다. 한 실시예는, 군중 내에(예를 들어, 음악 콘서트, 자동차 경주 등에) 존재하는 이러한 많은 수의 디바이스들에 의해 발생된 진동 데이터를 수집 및 병합하기 위한 기능을 제공한다. 햅틱 트랙의 품질을 개선하고 및/또는 VR에서의 재생을 위한 국지화된 햅틱 데이터를 제공하기 위해 복수의 기록이 이용될 수 있다. 따라서, 단일의 군중 사용자 디바이스에서 이용가능한 센서들이 햅틱 경험의 정확한 재생을 제공할 수 없다면, 복수의 군중 개인 디바이스들에 의해 기록된 햅틱 데이터가 이용/병합되어 더 나은 햅틱 트랙을 제공한다. 이 이점은, 더 정확한 기록 장비를 배치하기가 비싸고 어려울 때 훨씬 더 중요하다. 또한, 예를 들어, VR 등의 정황에서, 상이한 위치들에서의 햅틱 경험이 재생되는 것이 바람직할 때 복수의 햅틱 트랙 기록이 필요할 수 있다.

한 실시예에서, 스마트폰 및 웨어러블 디바이스들(예를 들어, 태블릿, 스마트 시계 등) 상에서 이용가능한 센서들이 이용되어 시청각 콘텐츠에 대한 햅틱 트랙을 발생시킨다. 센서들은, 예를 들어, 가속도계, 마이크로폰, 전용 햅틱 기록 디바이스(예를 들어, 레이저 진동, 간섭 진동계) 등을 포함할 수 있다. 대안으로서 또는 추가적으로, 햅틱 정보는 비디오 움직임 추정에 기초하여(예를 들어, 스마트폰이나 웨어러블 디바이스에 의해 포착된 연속된 프레임들 사이의 변화에 기초하여) 유도될 수 있다. 한 실시예는, 소비자 디바이스들에서와 동일한 센서 기술들(예를 들어, 가속도계, 마이크로폰, 레이저 진동계 등)을 이용하지만 더 비싸고 더 나은 성능(예를 들어, 더 나은 정밀도, 해상도, 신호-대-잡음비, 샘플링 레이트, 방향성 등)을 갖는 전문 디바이스 등의 이벤트시에 배포된 기타의 디바이스들에 의해 포착된 데이터를 이용한다.

한 실시예는, 군중 내의(예를 들어, 음악 콘서트, 자동차 경주 등의) 복수의 사용자 디바이스로부터 햅틱 데이터를 수집하기 위한 기능을 제공한다. 그 다음, 복수의 기록이, 예를 들어, 후처리시에 또는 실시간으로, 병합될 수 있다. 한 실시예에서, 병합된 기록은 그 구성요소 햅틱 트랙보다 높은 품질을 갖는 햅틱 트랙을 발생시키는데 이용될 수 있다. 예를 들어, 복수의 기록이 평균되어 잡음을 감소시키거나, 복수의 기록 중 서브셋이 최상의 기록으로서 선택된 다음 평균되고 병합될 수 있다. 대안으로서, 데이터 융합 알고리즘이 이용되어 다양한 실시예를 참조하여 여기서 설명되는 바와 같이 복수의 기록을 병합할 수 있다.

한 대안적 또는 추가적인 실시예에서, 병합된 기록은 VR 등의 정황에 대한 하나 이상의 공간화된 햅틱 트랙을 발생시키는데 이용될 수 있다. 그 다음, 햅틱 트랙은 경험의 시청각 기록과 연관될 수 있다. 이 실시예에서, 햅틱 트랙은, VR에서 가상 위치가 시뮬레이팅되는 것과 관련된 다수의 기록들간의 보간에 의해 발생될 수도 있다. 예를 들어, 햅틱 트랙은 VR에서 시뮬레이팅되고 있는 가상 위치에 가장 가까운 기록에 기초하여, VR에서 시뮬레이팅되고 있는 가상 위치 부근의 다수의 기록에 기초하여 등등에 의해 발생될 수도 있다. 한 실시예에서, 특정한 공간적 위치에서의 햅틱 기록을 예측하기 위해 전파의 모델(model of propagation)이 이용될 수 있다. 예를 들어, 하나 이상의 햅틱 기록에 기초하여 햅틱 피드백의 소스를 재구성한 다음, 특정한 공간적 위치에서 경험될 햅틱 효과를 예측하기 위해 전파의 모델이 이용될 수 있다.

한 실시예는 클라우드 서비스를 이용함으로써 수 개의 군중 개인 디바이스들의 기록들을 수집 및 병합한다. 예를 들어, 한 실시예에서, 각각의 군중 개인 디바이스는 햅틱 트랙을 기록하고 그 기록을 클라우드 서비스 내의 서버에 전달한다. 그러면, 서버는 수신된 기록들을 병합 및/또는 평균하고 이것을 원격 사용자의 재생 디바이스에 제공한다.

한 실시예에서, 다양한 군중 개인 디바이스들에 의해 수집/기록된 다양한 햅틱 트랙들은 병합/평균되기 이전에 동기화된다. 예를 들어, 한 실시예에서, 각각의 군중 개인 디바이스는 그 기록을 타임스탬핑하고 타임스탬프들은 다양한 군중 개인 디바이스들의 기록을 동기화하는데 이용된다. 한 실시예에서, 군중 개인 디바이스들에 의해 수집된 데이터는, 분석을 위해 서버 또는 중앙 디바이스에 전송되되, 전송된 기록에 대한 위치 정보 및 메타데이터와 함께 전송된다. 전송된 데이터는, 다른 기록과의 동기화를 용이하게 하는 타임스탬프들을 포함하여, 실시예들은 다양한 위치에서 및/또는 다양한 디바이스/웨어러블/센서에 의해 기록된 다양한 측정들 사이의 타이밍 관계를 판정할 수 있다.

한 실시예는, 군중 개인 디바이스들로부터 수신된 기록들에서 누락된 정보(예를 들어, 갭)을 검출하고 기록에 참여하고 있는 군중의 멤버들을 커버리지/기록이 약하거나 없는 장소를 향해 지향시킨다. 군중으로부터 수신된 기록들 내의 누락된 정보를 검출하고 그에 따라 군중의 멤버들을 지향시키는 한 예는, Schofield 등의 ["Bootlegger: Turning Fans into Film Crew," CHI 2015 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, Pages 767-776 ("Schofield")]에 개시되어 있다. 군중의 지향은 군중의 원하는 위치(예를 들어, 좌측으로 이동), 원하는 대상(예를 들어, 가수 또는 드러머 촬영) 등에 기초할 수 있다.

한 실시예에서, 군중의 지향은 군중에게 피드백(예를 들어, 시각적 피드백, 햅틱 피드백 등)을 제공함으로써 수행된다. 한 실시예는, 오디오 기록, 비디오 기록, 햅틱 기록 등의, 군중으로부터 상이한 유형들의 기록을 수집한다. 예를 들어, 군중 개인 디바이스는 비디오 기록 및 연관된 햅틱 기록 모두를 제공할 수 있고, 햅틱 기록은 비디오 기록의 재생과 함께 원격 햅틱 피드백을 제공하는데 이용될 수 있다. 한 실시예에서, 군중의 지향은 이벤트의 원격 시청자의 선호도에 따를 수 있다. 예를 들어, 이벤트의 하나 이상의 라이브 참석자는 이벤트의 방송의 원격 시청자를 위한 대리인으로서 역할할 수 있다. 예를 들어, 원격 시청자는, 어떤 라이브 햅틱 기록이 재생을 위해 포워딩될 것인지를, 참석자의 위치, 참석자의 기록에 의해 포착된 대상물 등에 기초하여 판정할 수 있다. 한 실시예에서, 원격 시청자는 대안으로서 또는 추가적으로 플레이어/공연자를 선택하고 이로부터 피드백을 수신할 수 있다. 예를 들어, 원격 시청자는 사커 게임의 플레이어에 부착된 센서/디바이스에 의해 포착된 햅틱 및/또는 기타의 피드백을 수신할 것으로 선택할 수 있고, 시청자는 나중에 그 선택을 변경하여 게임의 상이한 플레이어 및/또는 라이브 참석자로부터 피드백을 얻을 수 있다.

한 실시예에서, 예를 들어, 콘서트에 참석하고 있는 군중 내의 한 사람은 개인 디바이스(예를 들어, 스마트폰) 상의 애플리케이션을 이용하여 그 공연의 햅틱 트랙을 기록할 수 있다. 사용자는 Oculus Rift를 이용함으로써 나중에 그 이벤트를 재경험할 수 있다. 예를 들어, 그 사람은 그 이벤트에 실제로 참석한 것처럼 군중 사이를 가상으로 움직이며 햅틱 경험 변화를 느낄 수 있다.

한 실시예에서, 예를 들어, 사용자는 자신의 태블릿 상에서 자동차 경주 이벤트를 시청할 수 있고, 경주 차량들이 운전할 때, 라이브 군중 내에 있는 것처럼 진동을 느낄 수 있다. 이러한 진동은 경주 트랙에 있는 복수의 군중 사용자 디바이스(예를 들어, 스마트폰)에 의해 기록되었을 수도 있다. 따라서, 그 사람에 시청할 이벤트를 방송할 때, 소정 시간에서 이용된 카메라에 기초하여 최상의 진동 기록이 선택되고 제공될 수 있다. 예를 들어, 카메라가 경주 트랙 내의 특정 위치에 포커싱될 때, 그 특정 위치에 가깝고 및/또는 그 특정 위치를 관찰하고 있는 군중 개인 디바이스로부터의 진동 기록이 그 이벤트의 방송을 시청하고 있는 사람에게 햅틱 피드백을 제공하는데 이용될 수 있다.

한 실시예에서, 군중 개인 디바이스들은 3차원 공간에서 그들의 위치를 판정한다(즉, 공간적 피드백을 제공한다). 이것은, GPS(global positioning system) 등의 실외 위치확인 시스템을 통해 또는 공간에 분포된 근접 Bluetooth 비컨을 검출하는 등의 실내 위치확인 기능을 구현함으로써 수행될 수 있다. 한 대안적 또는 추가적 실시예는, 상이한 디바이스들의 상대적 위치를, 이들 디바이스들을 (예를 들어, WiFi Direct 또는 Bluetooth에 의해) 서로 통신하게 하고 신호 강도를 추정함으로써 추정할 수 있다. 한 대안적 또는 추가적 실시예는, 카메라에 의해 포착된 이미지 또는 디바이스에 의해 포착된 사운드의 강도 등의 다른 센서 신호들에 기초하여 디바이스들의 위치를 추정할 수 있다. 예를 들어, 군중 개인 디바이스의 위치는, 카메라에 의해 포착된 이미지 내의 그 위치에서의 광 강도에 기초하여 판정될 수 있다. 또 다른 예에서, 군중 개인 디바이스의 위치는, 카메라에 의해 포착된 이미지 내의 패턴 인식에 기초하여 판정될 수 있다. 또 다른 예에서, 군중 개인 디바이스의 위치는, 사운드 소스 및/또는 디바이스가 스테이지로부터 얼마나 멀리 떨어져 있는지를 나타내는 디바이스에 의해 포착된 사운드 강도에 기초하여 판정될 수 있다.

한 실시예에서, 다양한 이벤트 데이터가 (예를 들어, 이벤트의 상이한 위치들에 있는 상이한 센서들로부터, 군중 개인 디바이스들로부터, 등등으로부터) 수집된 후에, 이러한 데이터는 나중의 및/또는 원격 재생을 위한 코히어런트 데이터 세트(coherent data set)로 융합된다. 한 실시예는 수집된 데이터를 대응하는 시청각 콘텐츠와 함께 재생될 수 있는 단일의 햅틱 트랙으로 융합함으로써, 단일의 POV 피드백을 제공한다. 대안적 또는 추가적 실시예는 수집된 데이터를 이용하여 이벤트의 다양한 위치들에 기초해 진동의 맵을 생성함으로써, 복수의 POV 피드백을 제공한다.

한 실시예에서, 단일의 POV 피드백을 제공하기 위하여, 수집된 데이터는 최적의 결과 햅틱 트랙이 획득되도록 결합된다. 이 결합은, 예를 들어, 각각의 센서/디바이스에 의해 기록된 신호의 노이즈 또는 분산, 각각의 센서의 특성(예를 들어, 신호-대-노이지 비율, 기록 품질 등급 등), 기록된 신호의 진폭, 기록된 진동의 소스(예를 들어, 콘서트에서의 무대 또는 스피커)로부터의 거리 등에 기초하여 데이터 융합을 수행하는 본 기술분야에 공지된 임의의 센서 융합 알고리즘을 이용하여 수행될 수 있다. 예를 들어, 한 실시예에서, 센서 융합 기능은 센서 신호의 가중치 평균을 획득할 수 있고, 여기서, 가중치는 각각의 센서의 품질 등급에 기초한다.

한 대안적 또는 추가적 실시예는 다양한 위치에서 느껴지는 진동을 맵핑하는 복수의 POV 피드백을 제공한다. 이 실시예는, 예를 들어, 사용자가 공간 내에서 둘러보고 및/또는 이동할 수 있는 VR 정황에서 적용가능하다. 이것은 또한, 햅틱 피드백을 수신하고 있는 사용자에 의해 카메라 각도가 선택될 수 있는 비-VR 정황에서도 적용가능하며, 햅틱 피드백은 선택된 카메라와 연관하여 제공된다(상이한 비디오 트랙에 대해서 상이한 햅틱 트랙이 제공된다). 이 실시예에서, 센서 융합 기능은 단일의 POV 시나리오에서와 같을 수 있지만, 이벤트의 특정 위치에 대응하는 수집된 데이터에만 적용된다. 예를 들어, 특정한 위치(예를 들어, 공간 내의 한 점)에 대응하는 햅틱 피드백을 제공하기 위하여, 한 실시예는 그 위치 부근에 있는 센서/디바이스들(예를 들어, 그 위치의 소정 부근에 있는 센서/디바이스들)로부터의 기록의 최상의 융합을 판정한다. 따라서, 이 실시예에는, (예를 들어, 보간에 기초하여) 공간 내의 임의의 지점에 대해 햅틱 트랙이 유도될 수 있는 공간에서의 동일한 위치들에 대한 한 세트의 햅틱 트랙을 제공한다.

그러나, 한 대안적 실시예는 수집된 데이터를 이용하여 단일의 융합된 햅틱 트랙과 다양한 공간적 위치들에서의 진동의 강도의 맵을 판정함으로써 복수의 POV 피드백을 제공할 수 있다. 이 실시예는 특정 공간적 위치에 대하여 융합된 햅틱 트랙과 그 특정 공간적 위치에서의 진동의 강도에 기초하여(예를 들어, 그 특정 공간적 위치에서의 진동의 측정된 또는 예측된 강도에 기초하여 융합된 햅틱 트랙을 스케일링함으로써) 햅틱 피드백을 생성한다.

한 실시예는 햅틱 피드백을 제공함에 있어서 복수의 액추에이터를 구현한다. 예를 들어, 복수의 POV 피드백에 관하여 여기서 설명된 기능을 통해 유도된 하나 이상의 햅틱 피드백은 복수의 액추에이터를 갖는 디바이스의 각각의 액추에이터에 할당될 수 있다. 이 실시예는, 예를 들어, 좌측 및 우측에 액추에이터들을 갖는 태블릿 상에서 재생을 제공하거나, 사용자의 좌측 및 우측 손목 상의 웨어러블들을 통해 재생을 제공하는 등에 적용가능하다. 한 실시예에서, 복수의 POV 피드백에 관하여 여기서 설명된 기능은 액추에이터당 하나의 햅틱 트랙을 유도하도록 구현될 수 있다. 예를 들어, 다양한 위치에서의 다양한 센서/디바이스들에 의해 이벤트에서 수집된 데이터에 기초하여, 관심대상의 장소의 좌측에서 더 강한 진동이 검출된다면, 태블릿의 좌측 액추에이터는 그 우측 액추에이터에 비해 더 강한 재생 진동을 제공할 수 있다.

한 실시예에서, 햅틱 피드백은 시청각 및/또는 VR 콘텐츠와 함께 제공된다. 시청각 및/또는 VR 콘텐츠는, 예를 들어, 텔레비전, 스마트폰, 태블릿, VR 헤드셋 등에 제공될 수 있다. 동반되는 햅틱 피드백은, 예를 들어, 스마트폰, 태블릿, 웨어러블(예를 들어, 스마트 시계) 등에 제공될 수 있다. 한 실시예에서, 햅틱 피드백은 여기서 설명된 임의의 유형의 햅틱 자극(예를 들어, 진동, 찌르기, 압착, 변형 등)에 따를 수 있고, 기록된 진동과 각각의 햅틱 자극 사이의 맵핑에 기초하여 발생된다. 예를 들어, 한 실시예에서, 기록된 진동의 강도는 재생 디바이스 상의 변형의 강도에 맵핑될 수 있다. 한 실시예에서, 재생 디바이스는 햅틱 데이터와 함께 오디오-비디오 수신하고 이들을 동기하여 재생한다.

복수의 POV 피드백을 참조하여 여기서 설명된 기능을 제공하는 한 실시예에서, 재생 클라이언트는 VR 환경에서 원격 사용자의 위치/배향에 기초하여 재생을 위한 햅틱 트랙을 식별할 수 있다. 예를 들어, 재생 클라이언트는 데이터 융합 기능에 의해 제공되는 2개의 가장 가까운 햅틱 데이터 지점들간의 선형 보간에 의해 햅틱 트랙을 식별할 수 있다.

한 실시예는 이러한 디바이스들로부터 데이터를 수집하는 하나 이상의 군중 사용자 디바이스들 상에서 애플리케이션을 구현할 수 있다. 애플리케이션은 또한 선택사항으로서 군중 사용자 디바이스를 통해 수행된 기록들의 품질을 향상시키는 안내를 제공할 수 있다. 예를 들어, 이벤트에서의 센서/디바이스로부터 이미 수집된 데이터에 기초하여 센서 융합 기능의 적어도 일부를 수행함으로써, 한 실시예는 기록의 현재 품질의 추정치를 판정한다. 추정치가 이벤트에서의 소정의 공간적 위치에 관련된 불충분한 또는 누락된 정보에 대응하는 갭이 기록 내에 있다는 것을 나타낸다면, 애플리케이션은 그 영역의 커버리지를 향상시키기 위하여 군중 내의 하나 이상의 사용자에게 대응하는 공간적 위치를 향해 이동하도록 지시한다.

한 실시예에서, 콘서트의 군중 내의 사용자 스마트폰 및/또는 웨어러블이 진동을 기록하는데 이용된다. 그 다음, 기록들이 서버에 의해 수집되고 수집된 데이터는 처리되어 모든 기록을 최적으로 결합하는 고품질 햅틱 트랙을 발생시킨다. 대안으로서 또는 추가로, 수집된 데이터는 처리되어 군중 내의 상이한 위치들에서의 햅틱 경험을 재생하는 전문화된 햅틱 트랙을 발생시킨다.

한 실시예는 이벤트에서의 다양한 센서/디바이스들로부터 수집된 데이터를 융합하기 위한 데이터 융합 기능을 제공한다. 한 실시예에서, 데이터의 소스들은, 이용된 센서들의 성질과 분포에 따라, 중복성이거나(예를 들어, 2개 이상의 소스가 동일한 데이터를 제공), 협력적이거나(예를 들어, 2개 이상의 소스로부터의 데이터의 융합이 각각의 소스보다 정확한 데이터를 제공), 상보적(예를 들어, 상이한 소스들로부터의 데이터는 환경의 상이한 부분들에 대응)일 수 있다. 데이터 융합 기능은, 예를 들어, Bayesian 간섭, 최대 우도, 최소 제곱, Kalman 필터, 입자 필터, 앙상블 방법 등에 따를 수 있다. Bayesian 간섭은, 증거가 취득될 때 가설에 대한 확률을 업데이트하기 위해 Bayes의 이론이 이용되는 통계적 간섭이다. Bayesian 간섭은, Laplacian 기반, Gaussian 기반 등일 수 있다. 최대 우도는, 그 가능성 분포를 최대화하는 주어진 통계에 대한 하나 이상의 파라미터의 값을 발견하는 것을 포함한다. 최소 제곱의 방법은 에러의 제곱의 합을 최소화하는 해(solution)를 발견하는 프로세스이다. 최소 제곱은, 무향식(unscented), 가중치형 등으로서 수행될 수 있다. Kalman 필터는 시간에 관해 관찰되고 통계적 노이즈와 기타의 부정확성을 포함하는 일련의 측정치들을 이용하며, 단일의 측정치만에 기초하여 획득된 것보다 정확한 미지의 변수들의 추정치를 생성한다. Kalman 필터는 확장식(extended)이거나, 무향식 등일 수 있다. 입자 필터는 확률 밀도의 점질량(또는 "입자) 표현에 기초한 순차적 Monte Carlo 방법이다. 앙상블 방법은 복수의 학습 알고리즘을 이용하여 구성요소 학습 알고리즘들 중 임의의 것으로부터 획득될 수 있는 것보다 더 나은 예측 성능을 획득한다.

한 실시예에서, 데이터 융합 기능의 선택은, 기록의 개수, 기록들의 상대적 위치, 기록들 내의 노이즈의 양, 기록들 내의 노이즈의 유형(예를 들어, Gaussian, 무작위 등) 등에 기초할 수 있다. 예를 들어, 아마도 다양한 에러들을 갖는 상이한 소스/기록/디바이스들로부터의 상이한 관찰값들이 이용되어 동일한 변수(예를 들어, 소정 장소에서의 진동)를 예측할 때, 다양한 소스로부터의 데이터는, 소정의 진동 전파의 모델을 가정할 때, 어떠한 대응하는 기록도 갖지 않는 위치에서의 가치있는 최상의 예측을 판정할 수 있는 Kalman 필터 내에 입력될 수 있다. 한 실시예에서, 특정한 기록을 참조하여 데이터 융합 알고리즘 내에 입력되는 관찰값은, 소정의 기간(예를 들어, 5ms 윈도우) 내의 기록된 신호의 RMS(root mean square) 값, 소정 기간 내의 신호의 최대값 등일 수 있다. 한 실시예에서, 가속도/진동에 관한 센서/디바이스들 중 하나에 의해 전달되는 각각의 값(예를 들어, 측정된 가속도 값)은 대응하는 상태 변수의 관찰값으로서 간주된다.

여기서 설명된 데이터 융합 기능은, 단일의 POV 피드백을 제공하는 것, 복수의 POV 피드백을 제공하는 것, 하나 이상의 상이한 햅틱 트랙을 복수의 액추에이터를 갖는 디바이스의 각각의 액추에이터에 할당하는 것 등의 임의의 재생 구성에 대해 구현될 수 있다. 한 실시예에서, 상이한 액추에이터들에 복수의 POV 피드백을 제공하거나 및/또는 상이한 햅틱 트랙들을 할당하기 위하여, 이벤트의 특정한 영역에 위치한 각각의 센서/디바이스에 대해, 대응하는 판독치는 그 장소에 대응하는 상태 변수의 관찰값으로서 간주된다. 이용된 데이터 융합 기능의 유형에 따라, 한 실시예는 또한 시간에 관한 상태 변수의 변화의 모델링을 적용한다. 변화 모델은 시간 "t"에서의 상태 변수 값들을 시간 "t-1"에서의 그들의 값들에 링크하는 방정식 체계일 수 있고, 이용되고 있는 데이터와 추정되고 있는 변수들에 의존할 수 있다. 한 대안적 또는 추가적 실시예는, 어떠한 감지된/기록된 정보도 이용가능하지 않지만 주변 영역에서 이용가능한 센서들/디바이스들로부터 관련된 감지된/기록된 정보가 수집되는 영역들에서 햅틱 정보(예를 들어, 가속도/진동의 값)를 추정하기 위해 본 명세서에 설명된 바와 같은 데이터 융합 기능을 이용한다.

데이터 융합을 위해 Kalman 필터를 구현하는 한 실시예에서, 수집된 데이터를 단일의 햅틱 트랙으로 융합하여 단일의 POV 피드백을 제공하기 위하여, 지점 P 부근의 각각의 센서/스마트폰/디바이스는, 지점 P에서의 진동 레벨인, 추정될 상태 변수의 관찰값을 제공한다. 프로세스 노이즈와 관찰 노이즈는 양쪽 모두 알려진 공분산 행렬을 갖는 Gaussian 노이즈이고 상태 변수들은 Gaussian 분포를 따른다고 가정하면, 상태 변수들은 화이트 노이즈의 추가에 의해 시간에 따라 변한다. 이 실시예에서, 관찰 모델은 또한, 진동의 소스로부터의 소정 거리에서의 진동을 판정하는 진동 전파 모델을 통합한다.

도 8은 본 발명의 실시예에 따른 하나 이상의 햅틱 효과를 생성할 때 도 1의 군중 기반의 햅틱 모듈(16)의 흐름도이다. 한 실시예에서, 도 8의 흐름도의 기능은 메모리 또는 기타의 컴퓨터 판독가능하거나 유형의 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 기능은 하드웨어(예를 들어, 주문형 집적 회로(ASIC), 프로그래머블 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등의 이용을 통해), 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.

802에서, 군중 기반의 햅틱 모듈(16)은 이벤트와 연관된 입력 데이터를 수신한다. 한 실시예에서, 입력 데이터는, 오디오 피드, 비디오 피드, 센서, 인간 오퍼레이터, 웹사이트, 또는 이벤트의 참석자의 사용자 디바이스 중 하나 이상으로부터 나온다. 한 실시예에서, 입력 데이터는 이벤트에 참석하는 군중과 연관된다. 한 실시예에서, 군중과 연관된 데이터는 군중에 의해 소싱된/발생된 데이터(예를 들어, 응원, 야유, 구호 등) 및/또는 군중이 경험하는 이벤트를 포착하는 데이터(게임 강도, 분위기, 플레이어 수행 등)를 포함한다.

804에서, 군중 기반의 햅틱 모듈(16)은 입력 데이터에서 이벤트의 요소를 식별한다. 한 실시예에서, 입력 데이터는 데이터의 2개 이상의 소스로부터 기원하며, 이벤트의 요소는 데이터의 2개 이상의 소스 내의 정보를 상관시킴으로써 식별된다. 한 실시예에서, 이벤트의 요소는 군중에 의해 야기된다. 한 실시예에서, 이벤트의 요소는, 흥분된, 동요된, 춤추는 군중 등의, 군중 분위기에 대응할 수 있다. 한 실시예에서, 이벤트의 요소는, 응원, 야유, 숨가쁨 등의, 별개의 군중 노이즈에 대응한다.

806에서, 군중 기반의 햅틱 모듈(16)은 이벤트의 요소에 기초하여 하나 이상의 햅틱 효과를 발생시킨다. 한 실시예에서, 하나 이상의 햅틱 효과를 발생시키는 것은 하나 이상의 햅틱 효과를 조절하는 것을 포함할 수 있다. 한 실시예에서, 하나 이상의 햅틱 효과는 이벤트의 요소를 햅틱화함으로써 발생된다. 대안적 실시예에서, 하나 이상의 햅틱 효과는 이벤트의 요소에 기초하여 조절되는 설계된 햅틱 효과이다. 한 실시예에서, 조절하는 것은 이벤트의 요소에 기초하여 하나 이상의 햅틱 효과의 파라미터(예를 들어, 강도, 지속기간 등)를 튜닝하는 것을 포함한다. 한 실시예에서, 하나 이상의 햅틱 효과는 이벤트의 상이한 요소에 기초하거나 이벤트와 연관된 상이한 입력 데이터에 기초하여 발생되고, 여기서, 이벤트의 상이한 요소는 입력 데이터에 기초하여 또는 상이한 입력 데이터에 기초하여 획득된다.

808에서, 하나 이상의 햅틱 효과는 햅틱 출력 디바이스를 통해 생성된다. 한 실시예에서, 입력 데이터는 특정한 위치에 위치한 및/또는 특정한 POV/각도로부터 이벤트를 보고 있는 이벤트의 참석자의 경험을 포착한다. 따라서, 이러한 햅틱 효과는 사용자가 마치 이러한 장소에 위치한 것처럼 및/또는 이러한 특정한 POV/각도로부터 이벤트를 시청하는 것처럼 이벤트를 경험하는 것을 돕는다. 이 실시예에서, 햅틱 효과는 이벤트에서의 다양한 장소들/POV들/각도들 중에서 사용자에 의해 선택된 장소/POV/각도에 기초하여 수정 및/또는 조절될 수 있다. 한 실시예에서, 각각의 장소/POV/각도에 대응하는 햅틱 효과를 제공하기 위한 입력 데이터는 그 장소/POV/각도에 존재하는 군중으로부터 및/또는 그 장소/POV/각도에서 이벤트 정보를 포착하는 센서들로부터 수집된다.

한 실시예에서, 입력 데이터는 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터를 포함한다. 한 실시예에서, 입력 데이터는 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 비디오 또는 오디오 데이터를 더 포함한다. 한 실시예에서, 입력 데이터는 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스의 위치를 나타낸다. 한 실시예에서, 입력 데이터의 수신시, 군중 기반의 햅틱 모듈(16)은, 햅틱 데이터가 이벤트의 위치와 연관된 누락된 햅틱 정보라고 판정하고 군중 중 한 명 이상에게 그 위치를 향해 이동할 것을 지시한다. 한 실시예에서, 입력 데이터의 수신시, 군중 기반의 햅틱 모듈(16)은, 햅틱 데이터가 이벤트의 공연자와 연관된 누락된 햅틱 정보라고 판정하고 군중 중 한 명 이상에게 그 공연자에 대한 햅틱 정보를 포착할 것을 지시한다.

한 실시예에서, 군중 기반의 햅틱 모듈(16)은 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터에 기초하여 이벤트의 햅틱 트랙을 발생시킨다. 한 실시예에서, 군중 기반의 햅틱 모듈(16)은 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터에 기초하여 각각의 상이한 위치들과 연관된 하나 이상의 햅틱 트랙을 발생시킨다.

한 실시예에서, 군중 기반의 햅틱 모듈(16)은, 원격 사용자가 이벤트의 특정 위치와 연관된 햅틱 피드백을 수신하는 것에 대한 선호도를 표시한다고 판정한다. 한 실시예에서, 군중 기반의 햅틱 모듈(16)은, 선호도에 기초하여, 하나 이상의 햅틱 트랙 내의 햅틱 트랙을 선택하고, 햅틱 트랙에 기초하여 햅틱 피드백을 원격 사용자에게 제공한다.

개시된 바와 같이, 실시예들은 원격 사용자가 라이브 이벤트 분위기를 경험하는 것을 허용한다. 한 실시예는, 이벤트 데이터(예를 들어, 오디오, 비디오, 감각 데이터, 업로드된/공유된 이벤트 정보 등)를 포착하고 (자동으로 또는 인간 오퍼레이터에 의해) 그 이벤트 데이터를 분석하여 햅틱화될 이벤트 키 요소들을 식별한다. 한 대안적 또는 추가적 실시예는 포착된 데이터를 이용하여 이벤트 키 요소에 관련된 햅틱 효과를 튜닝하는데 이용되는 파라미터들을 획득한다. 실시예들은 (자동 변환에 의해 또는 설계된 효과에 기초하여) 관련된 포착된 데이터를 햅틱 효과를 변환한다. 한 실시예는 햅틱 효과를 발생 또는 튜닝하는데 이용된 데이터, 및/또는 햅틱 효과 트랙 그 자체를 저장하여, 저장된 데이터 및/또는 햅틱 트랙이 나중에 사용자 재생 디바이스에 제공될 수 있게 한다. 대안적 실시예는 햅틱 효과를 발생 또는 튜닝하는데 이용된 데이터, 및/또는 햅틱 효과 트랙 그 자체를 사용자 재생 디바이스에 전송한다. 그러면, 햅틱 효과는 라이브 또는 등록된 이벤트의 미디어 콘텐츠와 함께 최종 사용자에게 제공된다. 따라서, 실시예들은 최종 사용자에게 원격 또는 미리기록된 이벤트의 분위기로의 더 나은 가상 몰입의 가능성을 준다.

수개의 실시예들이 여기서 구체적으로 예시되고 및/또는 설명되었다. 그러나, 개시된 실시예들의 수정과 변형은 상기 교시에 의해 포괄되고 본 발명의 의도된 범위와 사상으로부터 벗어나지 않고 첨부된 청구항들의 범위 내에 든다는 것을 이해할 것이다.

Claims (20)

1. 프로세서에 의해 실행될 때 상기 프로세서로 하여금 하나 이상의 햅틱 효과를 생성하게 하는 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능한 매체로서, 상기 명령어들은,
   이벤트와 연관된 입력 데이터를 수신하는 명령어;
   상기 입력 데이터에서 상기 이벤트의 요소를 식별하는 명령어;
   상기 이벤트의 요소에 기초하여 상기 하나 이상의 햅틱 효과를 발생시키는 명령어; 및
   햅틱 출력 디바이스를 통해 상기 하나 이상의 햅틱 효과를 생성하는 명령어
   를 포함하는 비일시적 컴퓨터 판독가능한 매체.
2. 제1항에 있어서, 상기 하나 이상의 햅틱 효과는 상기 이벤트의 요소를 햅틱화(haptify)함으로써 발생되는, 비일시적 컴퓨터 판독가능한 매체.
3. 제1항에 있어서, 상기 발생시키는 명령어는, 상기 이벤트의 요소에 기초하여 상기 하나 이상의 햅틱 효과의 파라미터를 튜닝하는 명령어를 포함하는, 비일시적 컴퓨터 판독가능한 매체.
4. 제1항에 있어서, 상기 하나 이상의 햅틱 효과는 상기 이벤트의 요소에 기초하여 조절되는 설계된 햅틱 효과들인, 비일시적 컴퓨터 판독가능한 매체.
5. 제1항에 있어서, 상기 하나 이상의 햅틱 효과는 상기 이벤트의 상이한 요소에 기초하거나 상기 이벤트와 연관된 상이한 입력 데이터에 기초하여 발생되고, 상기 이벤트의 상이한 요소는 상기 입력 데이터에 기초하여 또는 상기 상이한 입력 데이터에 기초하여 획득되는, 비일시적 컴퓨터 판독가능한 매체.
6. 제1항에 있어서, 상기 입력 데이터는, 오디오 피드, 비디오 피드, 센서, 인간 오퍼레이터, 웹사이트, 또는 상기 이벤트의 참석자의 사용자 디바이스 중 하나 이상으로부터 기원하는, 비일시적 컴퓨터 판독가능한 매체.
7. 제1항에 있어서, 상기 입력 데이터는 데이터의 2개 이상의 소스로부터 기원하고, 상기 이벤트의 요소는 상기 데이터의 2개 이상의 소스 내의 정보를 상관시킴으로써 식별되는, 비일시적 컴퓨터 판독가능한 매체.
8. 제1항에 있어서, 상기 입력 데이터는 상기 이벤트에 참석하는 군중(crowd)과 연관된, 비일시적 컴퓨터 판독가능한 매체.
9. 제8항에 있어서, 상기 이벤트의 요소는 상기 군중에 의해 야기되는, 비일시적 컴퓨터 판독가능한 매체.
10. 제8항에 있어서, 상기 입력 데이터는 상기 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터를 포함하는, 비일시적 컴퓨터 판독가능한 매체.
11. 제10항에 있어서, 상기 입력 데이터는 상기 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 비디오 또는 오디오 데이터를 더 포함하는, 비일시적 컴퓨터 판독가능한 매체.
12. 제10항에 있어서, 상기 입력 데이터는 상기 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스의 위치를 나타내는, 비일시적 컴퓨터 판독가능한 매체.
13. 제10항에 있어서,
    상기 햅틱 데이터가 상기 이벤트의 장소와 연관된 누락된 햅틱 정보(missing haptic information)라고 판정하는 명령어; 및
    상기 군중 중 한 명 이상에게 상기 위치를 향해 이동하도록 지시하는 명령어
    를 더 포함하는 비일시적 컴퓨터 판독가능한 매체.
14. 제10항에 있어서,
    상기 햅틱 데이터가 상기 이벤트의 공연자와 연관된 누락된 햅틱 정보라고 판정하는 명령어; 및
    상기 군중 중 한 명 이상에게 상기 공연자에 대한 상기 햅틱 정보를 포착하도록 지시하는 명령어
    를 더 포함하는 비일시적 컴퓨터 판독가능한 매체.
15. 제10항에 있어서,
    상기 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터에 기초하여 상기 이벤트의 햅틱 트랙을 발생시키는 명령어를 더 포함하는 비일시적 컴퓨터 판독가능한 매체.
16. 제10항에 있어서,
    상기 이벤트에 참석하는 군중과 연관된 하나 이상의 개인 디바이스에 의해 수집된 햅틱 데이터에 기초하여 상기 이벤트의 각각의 상이한 위치들과 연관된 하나 이상의 햅틱 트랙을 발생시키는 명령어를 더 포함하는 비일시적 컴퓨터 판독가능한 매체.
17. 제16항에 있어서,
    원격 사용자가 상기 이벤트의 특정 위치와 연관된 햅틱 피드백을 수신하는 것에 대한 선호도를 표시한다고 판정하는 명령어를 더 포함하는 비일시적 컴퓨터 판독가능한 매체.
18. 제17항에 있어서,
    상기 선호도에 기초하여, 상기 하나 이상의 햅틱 트랙 내의 햅틱 트랙을 선택하는 명령어; 및
    상기 햅틱 트랙에 기초하여 상기 원격 사용자에게 햅틱 피드백을 제공하는 명령어
    를 더 포함하는 비일시적 컴퓨터 판독가능한 매체.
19. 하나 이상의 햅틱 효과를 생성하기 위한 방법으로서,
    이벤트와 연관된 입력 데이터를 수신하는 단계;
    상기 입력 데이터에서 상기 이벤트의 요소를 식별하는 단계;
    상기 이벤트의 요소에 기초하여 상기 하나 이상의 햅틱 효과를 발생시키는 단계; 및
    햅틱 출력 디바이스를 통해 상기 하나 이상의 햅틱 효과를 생성하는 단계
    를 포함하는 방법.
20. 하나 이상의 햅틱 효과를 생성하기 위한 시스템으로서,
    이벤트와 연관된 입력 데이터를 수신하는 수신 모듈;
    상기 입력 데이터에서 상기 이벤트의 요소를 식별하는 식별 모듈;
    상기 이벤트의 요소에 기초하여 상기 하나 이상의 햅틱 효과를 발생시키는 발생 모듈; 및
    햅틱 출력 디바이스를 통해 상기 하나 이상의 햅틱 효과를 생성하는 생성 모듈
    을 포함하는 시스템.
    

Images