KR20150133643A

KR20150133643A - 햅틱 설계 작성 도구

Info

Publication number: KR20150133643A
Application number: KR1020150068100A
Authority: KR
Inventors: 자말 사본; 후안 마누엘 크루즈-헤르난데즈
Original assignee: 임머숀 코퍼레이션
Priority date: 2014-05-20
Filing date: 2015-05-15
Publication date: 2015-11-30
Also published as: US20180173311A1; US9330547B2; JP2015219917A; CN105094798A; US9921653B2; EP2947547A1; US20160209925A1; US20150339898A1; JP6544991B2; US10191552B2; JP2019169195A

Abstract

사람의 햅틱 설계자 스타일을 학습함으로써 생성된 햅틱화 모델을 제공하는 하나 이상의 햅틱 효과를 추천하는 햅틱 작성 도구가 제공된다. 햅틱 작성 도구는 오디오와 비디오 중 적어도 하나 및 복수의 이벤트를 포함하는 입력을 수신한다. 햅틱 작성 도구는 다음에 학습된 햅틱화 모델에 기초하여 입력으로부터의 대응하는 이벤트와 연관될 햅틱 효과의 유형을 추천한다.

Description

햅틱 설계 작성 도구{HAPTIC DESIGN AUTHORING TOOL}

일 실시예는 일반적으로 시스템에, 그리고 보다 상세하게는 햅틱 설계를 추천하는 시스템에 관한 것이다.

햅틱은 사용자에게, 힘, 진동, 및 모션과 같은 햅틱 피드백 효과(즉, "햅틱 효과")를 가함으로써 사용자의 터치의 감각을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 장치, 터치스크린 장치, 및 개인용 컴퓨터와 같은 장치는 햅틱 효과를 생성하도록 구성될 수 있다. 일반적으로, (액추에이터와 같은) 햅틱 효과들을 생성할 수 있는 내장된 하드웨어에 대한 호출들이 장치의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이들 호출은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 소정의 다른 컨트롤을 사용하여 장치와 상호 작용할 때, 장치의 OS는 재생 명령을 제어 회로를 통해 내장된 하드웨어에 송신할 수 있다. 그러면 내장된 하드웨어가 적절한 햅틱 효과를 생성한다.

장치는 햅틱 효과들의 출력을 오디오와 같은, 다른 콘텐츠의 출력과 조화하도록 구성될 수 있으므로, 햅틱 효과들은 다른 콘텐츠와 통합된다. 예를 들어, 오디오 효과 개발자는 총소리, 폭발, 또는 자동차 충돌과 같은, 장치에 의해 출력될 수 있는 오디오 효과들을 개발할 수 있다. 또한, 비디오 효과들과 같은, 다른 유형의 콘텐츠가 개발되고 다음에 장치에 의해 출력될 수 있다. 햅틱 효과 개발자는 다음에 장치를 위한 햅틱 효과를 작성할 수 있고, 장치는 다른 콘텐츠와 함께 햅틱 효과를 출력하도록 구성될 수 있다. 그러나, 이러한 프로세스는 오디오 효과 또는 다른 유형의 콘텐츠에 대응하는 햅틱 효과를 작성하기 위해 햅틱 효과 개발자에 의한 수동 입력을 일반적으로 요구한다. 이러한 수동 프로세스는 지루하고, 시간 소모적일 수 있다.

일 실시예는 하나 이상의 햅틱 효과를 추천하는 시스템이다. 시스템은 사람의 햅틱 설계자 스타일을 학습함으로써 생성된 햅틱화 모델을 제공한다. 시스템은 오디오와 비디오 중 적어도 하나 및 복수의 이벤트를 포함하는 입력을 수신한다. 시스템은 다음에 학습된 햅틱화 모델에 기초하여 입력으로부터의 대응하는 이벤트와 연관될 햅틱 효과의 유형을 추천한다.

기타 실시예들, 상세 내용, 이점, 및 변형은 첨부 도면과 함께 이루어지는 다음의 바람직한 실시예들의 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템의 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 햅틱 설계 시스템의 블록도를 도시한다.
도 3은 본 발명의 실시예에 따른, 햅틱 설계 모듈의 흐름도를 도시한다.
도 4는 본 발명의 실시예에 따른, 하이 레벨 시맨틱 디스크립터를 사용하는 베이지안 네트워크를 도시한다.
도 5는 본 발명의 실시예에 따른, 로우 레벨 디스크립터를 사용하는 베이지안 네트워크를 도시한다.

일 실시예는 햅틱 효과 개발자의 종래의 햅틱 설계들에 기초하여 햅틱화 모델을 학습하고 학습된 햅틱화 모델을 사용하여 새로운 멀티미디어 클립과 같은 새로운 콘텐츠를 위한 새로운 햅틱 설계들을 추천하는 시스템이다.

도 1은 본 발명의 일 실시예에 따른 시스템(10)의 블록도를 도시한다. 일 실시예에서, 시스템(10)은 햅틱 작성 장치의 일부이고, 시스템(10)은 햅틱 작성 장치에 햅틱 설계 기능을 제공한다. 단일 시스템으로 도시되어 있지만, 시스템(10)의 기능은 분산형 시스템으로 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 정보 처리를 위해 버스(12)에 연결된 프로세서(22)를 포함한다. 프로세서(22)는 모든 형태의 범용 또는 특수 목적의 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행되는 정보 및 명령어를 저장하는 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크와 같은 정적 스토리지, 또는 어떤 다른 형태의 컴퓨터 판독 가능 매체의 어떤 조합으로 구성될 수 있다.

컴퓨터 판독 가능 매체는 프로세서(22)가 액세스할 수 있는 임의의 가용한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 고정식 매체, 통신 매체, 및 저장 매체를 포함할 수 있다. 통신 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 되어 있는 다른 데이터를 포함할 수 있으며, 본 기술 분야에서 공지된 어떤 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, 소거가능한 프로그램가능 판독 전용 메모리("EPROM"), 전기 소거가능한 프로그램가능 판독 전용 메모리("EEPROM"), 레지스터, 하드 디스크, 이동식 디스크, 콤팩트 디스크 판독 전용 메모리("CD-ROM"), 또는 본 기술 분야에서 공지된 어떤 다른 형태의 저장 매체를 포함할 수 있다.

일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 일 실시예의 햅틱 작성 장치의 나머지뿐만 아니라, 시스템(10)에 운영 체제 기능을 제공하는 운영 체제(15)를 포함한다. 아래에 더 상세하게 개시되는 바와 같이, 모듈은 입력에 응답하여 햅틱 설계를 추천하는 햅틱 설계 모듈(16)을 더 포함한다. 소정의 실시예들에서, 햅틱 설계 모듈(16)은 복수의 모듈을 포함할 수 있으며, 여기서 각각의 모듈은 햅틱 설계를 추천하거나 생성하기 위한 특정한 개개의 기능을 제공한다. 시스템(10)은 Immersion Corporation에 의한 Haptic Studio™와 같은, 추가의 기능을 포함하도록 하나 이상의 추가적인 애플리케이션 모듈(18)을 전형적으로 포함할 것이다.

원격 소스로부터 데이터를 전송 및/또는 수신하는 실시예들에서, 시스템(10)은 적외선, 무선, 와이파이(Wi-Fi), 또는 셀룰러 네트워크 통신과 같은 모바일 무선 네트워크 통신을 제공하기 위해, 네트워크 인터페이스 카드와 같은 통신 장치(20)를 더 포함한다. 기타 실시예들에서, 통신 장치(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.

프로세서(22)는 그래픽 표현 또는 사용자 인터페이스를 사용자에 디스플레이하기 위해, 액정 디스플레이("LCD")와 같은, 디스플레이(24)에 버스(12)를 통해 더 연결된다. 디스플레이(24)는 터치 스크린과 같이, 신호를 송신하고 프로세서(22)로부터 수신하도록 구성된 터치-감지 입력 장치일 수 있으며, 또한 멀티-터치형 터치 스크린일 수 있다.

일 실시예에서, 시스템(10)은 액추에이터(26)를 더 포함한다. 액추에이터(26)는 햅틱 효과가 동일한 시스템 상에서 생성되는 실시예들에 사용된다. 다른 경우에, 액추에이터(26)는 또 다른 장치의 일부일 수 있다. 프로세서(22)는 생성된 햅틱 효과와 연관되는 햅틱 신호를 액추에이터(26)에 전송할 수 있고, 액추에이터는 결국 진동 촉각 햅틱 효과, 정전기 마찰 햅틱 효과, 또는 변형 햅틱 효과와 같은 햅틱 효과를 출력한다. 액추에이터(26)는 액추에이터 구동 회로를 포함한다. 액추에이터(26)는 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 고분자(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액추에이터, 고 대역폭 액추에이터, EAP(electroactive polymer) 액추에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 대안적 실시예들에서, 시스템(10)은 액추에이터(26)에 부가하여, 하나 이상의 추가적인 액추에이터를 포함할 수 있다(도 1에 도시되어 있지 않다). 액추에이터(26)는 햅틱 출력 장치의 예이며, 여기서 햅틱 출력 장치는 구동 신호에 응답하여, 진동 촉각 햅틱 효과, 정전기 마찰 햅틱 효과, 또는 변형 햅틱 효과와 같은, 햅틱 효과를 출력하도록 구성된 장치이다. 대안적 실시예들에서, 액추에이터(26)는 몇몇 다른 형태의 햅틱 출력 장치로 대체될 수 있다. 또한, 다른 대안적 실시예들에서, 시스템(10)은 액추에이터(26)를 포함하지 않을 수 있고, 시스템(10)으로부터 분리된 장치가 햅틱 효과를 생성하는 액추에이터, 또는 다른 햅틱 출력 장치를 포함하고, 시스템(10)은 발생된 햅틱 신호를 통신 장치(20)을 통해 그 장치에 보낸다.

일 실시예에서, 시스템(10)은 스피커(28)를 더 포함한다. 스피커(28)는 오디오가 동일한 시스템 상에서 발생되는 실시예들에 사용된다. 다른 경우에, 스피커(28)는 또 다른 장치의 일부일 수 있다. 프로세서(22)는 오디오 신호를 스피커(28)에 전송할 수 있고, 스피커는 결국 오디오 효과를 출력한다. 스피커(28)는 예를 들어, 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변형 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 파 라우드스피커, 플랫 패널 라우드스피커, 하일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다. 대안적 실시예들에서, 시스템(10)은 스피커(28)에 부가하여, 하나 이상의 추가적인 스피커를 포함할 수 있다(도 1에 도시되어 있지 않다). 또한, 다른 대안적 실시예들에서, 시스템(10)은 스피커(28)를 포함하지 않을 수 있고, 시스템(10)으로부터 분리된 장치가 오디오 효과를 출력하는 스피커를 포함하고, 시스템(10)은 오디오 신호를 통신 장치(20)를 통해 그 장치에 보낸다.

일 실시예에서, 시스템(10)은 데이터베이스(30)를 더 포함한다. 데이터베이스(30)는 햅틱 설계 모듈(16)을 위한 스토리지를 제공하고 햅틱 설계 데이터 등을 저장하도록 구성될 수 있다.

도 2는 본 발명의 일 실시예에 따른 햅틱 설계 시스템(200)의 블록도를 도시한다. 햅틱 설계 시스템(200)은 햅틱 작성 시스템(210), 데이터베이스(220), 및 햅틱 설계 추천기(230)를 포함한다. 햅틱 설계 추천기(230)는 도 1의 햅틱 설계 모듈(16)을 사용하여 구현될 수 있다.

동작 시에, 설계자는, 예를 들어 햅틱 작성 시스템(210) 상에서 실행되는 햅틱 설계 소프트웨어를 사용하여, 멀티미디어 클립(예를 들어, 비디오의 장면 또는 오디오의 일부) 내의 이벤트를 위한 햅틱 효과를 수동으로 작성하기 위해 햅틱 작성 시스템(210)을 초기에 동작시킬 수 있다. 수동으로 작성된 햅틱 효과들과 그들의 대응하는 멀티미디어 이벤트의 특징을 나타내는 PCM 신호 및/또는 태그가 데이터베이스(220)에 저장될 수 있고/있거나, 햅틱 설계 추천기(230)에 직접 전송될 수 있다. 몇몇 실시예들에서, 데이터베이스(220)는 아래에 상세하게 설명되는 바와 같이, 제안된/추천된 효과를 생성하는 데 사용될 수 있는 햅틱화 모델을 구성하기 위해 사용될 수 있다. 햅틱 설계 추천기(230)는 효과의 특성(예를 들어, 지속 기간, 진폭, 형상, 주파수 등)을 검출할 수 있고, 예를 들어 도 3에서 아래에 설명되는 기능에 따라, 동일 타이밍에서 일어나는 멀티미디어 클립 내의 대응하는 이벤트(즉, 햅틱화의 목표가 된 이벤트)의 특징과 햅틱 효과를 연관시킬 수 있다. 일반적으로, 특정 햅틱 효과를 정의하는 하이 레벨 파라미터는 크기, 주파수 및 지속 기간을 포함한다. 스트리밍 모터 명령과 같은 로우 레벨 파라미터도 특정 햅틱 효과를 결정하는 데 사용될 수 있다. 햅틱 효과가 생성될 때의 이들 파라미터의 일부 변화 또는 사용자의 상호 작용에 기초한 이들 파라미터의 변화를 햅틱 효과가 포함하는 경우에, 햅틱 효과는 "다이내믹"이라고 간주될 수 있다.

몇몇 실시예들에서, 멀티미디어 이벤트의 특징은 오디오 특징 또는/및 시각적인 특징을 포함할 수 있다. 이들 특징은 또한 이벤트의 다이내믹(예를 들어, 이벤트와 그것의 이후나 이전의 클립의 부분들 사이의 전이)을 캡처할 수 있다. 오디오 특징은 스펙트럼적(예를 들어, 주파수 콘텐츠, "MELFCCs(Mel-frequency Cepstral Coefficients"), 주파수 대역 당 전력 등)이고 시간적(예를 들어, 형상, 진폭, 타이밍)일 수 있다. 시각적인 특징은 예를 들어, 컬러의 히스토그램, 광학적 흐름(예를 들어, 장면에서의 대상의 움직임 추정), 특정한 컬러 패턴 존재 등을 포함할 수 있다. 시스템(200)은 또한 장면(예를 들어, 단지 이벤트 자체만은 아님)의 다이내믹을 캡처할 수 있다. 예를 들어, 시스템(200)은 오디오 진폭이 이벤트에 대해 증가 또는 감소하는지, 컬러 히스토그램이 이벤트 또는 장면 전체에 걸쳐 어떻게 변화했는지 등을 캡처할 수 있다.

몇몇 실시예들에서, 햅틱 설계 추천기(230)는 효과의 유형을 이벤트의 유형과 연관시키기 위해 분류와 클러스터링 기법(예를 들어, 은닉 마코프 모델("HMM"), 가우시안 혼합 모델("GMM"), K-평균, K-최근접 이웃("KNN"), 베이지안 네트워크 등)을 사용한다. 이러한 실시예들에서, 새로운 멀티미디어 클립을 작성할 때, 햅틱 설계 추천기(230)는 새로운 콘텐츠의 특징을 분석하고 그것이 이미 학습한 것들과 유사한 이벤트를 검출할 때 효과를 제안/추천할 수 있다.

몇몇 실시예들에서, 햅틱 설계 추천기(230)는 햅틱 작성 시스템(210) 상에서 실행되는 햅틱 설계 소프트웨어에서의 배경 프로세스와 같이, 실시간으로 동작할 수 있다. 몇몇 실시예들에서, 햅틱 설계 추천기(230)은 D-BOX Technologies Inc.에 의해 사용된 "이머젼(Immersion)" 포맷 또는 포맷들에 저장된 햅틱 효과 데이터를 읽는 것 등에 의해서, 이전에 작성된 콘텐츠에 대해 오프라인으로 동작할 수 있다. 몇몇 실시예들에서, 햅틱 효과 추천기(230)는 새로운 멀티미디어 클립을 위한 효과를 추천할 때 해당 작성자가 이전에 작성한 효과만 고려함으로써 상이한 햅틱 효과 작성자들에 적응될 수 있다. 대안적으로, 기타 실시예들에서, 햅틱 효과 추천기(230)는 새로운 멀티미디어 클립을 위한 효과를 추천할 때 다수의 작성자가 이전에 작성한 효과를 고려하도록 구성될 수 있다.

도 3은 본 발명의 실시예에 따른, 시스템에 의해 수행되는 햅틱 설계 기능의 흐름도를 도시한다. 일 실시예에서, 도 3의 기능은 메모리 또는 다른 컴퓨터 판독 가능 또는 유형적 매체에 저장되며, 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 이 실시예에서, 각각의 기능은 (도 1의 햅틱 설계 모듈(16)과 같은) 햅틱 설계 모듈에 의해 수행될 수 있다. 기타 실시예들에서, 각 기능은 하드웨어(예를 들어, 주문형 집적 회로("ASIC"), 프로그램가능 게이트 어레이("PGA"), 필드 프로그램가능 게이트 어레이("FPGA") 등을 사용하는 것), 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.

실시예에 따르면, 흐름은 (310)에서 시작하는데, 여기서 사용자가, 예를 들어 햅틱 설계 소프트웨어를 사용하여 멀티미디어 클립(315)을 위한 햅틱 효과를 수동으로 작성/설계한다. 효과는 멀티미디어 클립 내의 이벤트에 대응할 수 있다. 흐름은 (320)으로 진행한다.

(320)에서, 사용자는 작성된 햅틱 효과와 이벤트를 태그할 수 있다. 사용자는 또한, 예를 들어 멀티미디어 클립의 유형 또는 장르를 태그함으로써, 일반적으로 멀티미디어 클립을 태그할 수 있다. 몇몇 실시예들에서, 사용자는 효과/이벤트를 태그하는 것이 요구되지 않고 아래 (340)에서 자동적으로 검출/추출된 특징이 수동으로 입력된 태그 없이 사용된다. 흐름은 (330)으로 진행한다.

(330)에서, 모듈(16)은 햅틱 효과, 이벤트, 및 (제공되는 경우에) 태그를 수신한다. 흐름은 (340)으로 진행한다.

(340)에서, 모듈(16)은 멀티미디어 클립(315)으로부터 로우 레벨 특징(오디오 및/또는 비디오)을 그리고 (330)에서 수신된 이벤트 및 효과 신호로부터, 효과 특성을 자동적으로 검출/추출한다. 예를 들어, 각각의 이벤트(및 전술한 바와 같은 그것의 문맥)를 기술하는 특징이 자동적으로 검출/추출되어, 대응하는 효과를 기술하는 특성에 이벤트를 연관시키는 데 사용될 수 있다. 이벤트 특징은 예를 들어, 오디오 특징(스펙트럼적 및/또는 시간적) 및/또는 시각적인 것들(컬러 및/또는 모션 정보)을 포함할 수 있다. 문맥 특징은 위에 논의된 것과 동일한 성질이지만 덜 상세할 수 있다. 예를 들어, 이벤트는 그것의 가청 주파수 콘텐츠 및/또는 이벤트에 걸친 컬러 히스토그램 변화를 사용하여 기술될 수 있고 장면/문맥은 평균 오디오 진폭에 의해 기술될 수 있다.

몇몇 실시예들에서, 2개 레벨의 디스크립터(수동으로 입력된 태그와 자동적으로 추출/검출된 특징)의 조합이 문맥 정보로서 사용될 수 있다. 이벤트/효과는 사용자에 의해 태그될 수 있고 동시에 그것의 관련된 특징이 캡처될 수 있다. 이러한 실시예들에서, 효과를 제안하기 위한 완전 자동 또는 반자동 방식을 사용하여 새로운 멀티미디어 클립을 위해 효과가 이후 제안될 수 있다. 흐름은 (350)으로 진행한다.

(350)에서, 모듈(16)은 햅틱 효과들을 그들의 대응하는 이벤트 또는 이벤트들의 연속과 연관시키고, 이 연관성을 도 1의 데이터베이스(30)와 같은, 데이터베이스에 저장한다. 햅틱 효과는, 예를 들어 하이 레벨 이벤트/효과 디스크립터(예를 들어, (320)에서 수동으로 입력되고 (330)에서 수신된 태그들과 같은 시멘틱 디스크립션) 또는 로우 레벨 이벤트/효과 디스크립터(예를 들어, 신호 특징과 같은 자동적으로 검출된/추출된 특징)을 사용하여 이벤트와 연관될 수 있다.

(330)에서 태그 데이터가 수신되는 실시예들에서, "일련의 제1 폭발"로서 태그된 이벤트가 예를 들어, "강한 폭발"로 태그된 햅틱 효과와 연관될 수 있다. 다른 예에서, "뮤직 비디오"로서 태그된 클립 내의 "자동차 엔진"으로서 태그된 이벤트는 어떤 햅틱 효과와도 연관되지 않을 수 있지만, "액션 비디오" 클립 내의 그 이벤트는 "웅웅거리는 엔진"으로 태그된 햅틱 효과와 연관될 수 있다. 이러한 실시예들에서, 태그는 각각의 이벤트/효과 설계에서 수동으로 설계자에 의해 할당된다. 이 특정한 태깅 작업을 위해 설계자는 각각의 이벤트의 문맥(예를 들어, 이벤트의 명칭, 장면 유형, 전후 이벤트, 클립 형태, 전경 또는 배경의 다른 이벤트 등)을 캡처하는 것을 가능하게 하는 태깅 정보를 제공한다. 몇몇 실시예들에서, 각각의 효과에 할당된 태깅 데이터는 기본적 태그(예를 들어, 효과의 명칭, 세기의 레벨)일 수 있다. 흐름은 (360)으로 진행한다.

(360)에서, 모듈(16)은 효과와 이벤트의 연관성을 사용하여 햅틱화 모델(예를 들어, 베이지언 모델, 마코비안 모델 등)을 구성하고(또는 학습하고); 상기 모델은 설계자(사용자)의 스타일을 기술하도록 구성된다. 모델은 새로운 멀티미디어 클립을 위한 제안된/추천된 효과를 나중에 생성하는 데 사용된다. 모델은 필요한 모든 정보(이벤트, 문맥 및 효과)를 캡처하도록 포괄적일 수 있다. 예를 들어, 하이 레벨 디스크립터를 갖는 베이지언 네트워크 구현에서, 이산 상태 변수는 이벤트의 유형, 다음이나 이후의 이벤트들의 유형, 이들 이벤트들까지의 기간, 장면 주제 등을 (각각 하나씩) 기술할 수 있다.

로우 레벨 디스크립터가 사용되는 실시예들에서, 모델은 이벤트의 유형이 역시 모델을 통해 표현됨에 따라 더 복잡할 수 있다. 이 모델의 베이지언 네트워크 구현에서, 예를 들어, 변수는 연속적이고 각각은 하나의 이벤트의 하나의 특징을 나타낼 수 있다. 베이지언 네트워크 구현의 예가 이후 도 4 및 도 5에 제공된다. 몇몇 실시예들에서, 모델은 데이터베이스에 저장된다. 대안적으로, 모델은 데이터베이스에 저장된 데이터로부터 구성된다. 흐름은 (370)으로 진행한다.

(370)에서, 모듈(16)은 이벤트 특징을 새로운 멀티미디어 클립(325)으로부터 자동적으로 추출하고/하거나 사용자(예를 들어, 햅틱 설계자)가 새로운 멀티미디어 클립(325) 내의 하나 이상의 이벤트를 태그한다.

(380)에서, 모듈(16)은 모델을 사용하여 새로운 멀티미디어 클립(325) 또는 새로운 멀티미디어 클립(325) 내의 하나 이상의 이벤트를 위한 제안된/추천된 햅틱 효과를 생성한다. 제안/추천은 모델로부터의 가능성 추정에 기초할 수 있고, 하이 레벨(태깅 데이터) 및/또는 로우 레벨(자동적으로 추출된 특징 데이터)이 모델의 구성에 사용되었는지에 따라, 완전 자동 모드 또는 반자동 모드에서 수행될 수 있다. 예를 들어, 로우 레벨 데이터가 (360)에서 모델을 구성하는 데 사용되었다면, 햅틱 효과 제안/추천은 아래 설명되는 것과 같이 완전 자동 방식으로 수행될 수 있다. 또 다른 예에서, 하이 레벨 데이터가 (360)에서 모델을 구성하는 데 사용되었다면, 햅틱 효과 제안/추천은 아래 설명되는 것과 같이 반자동 방식으로(예를 들어, 사용자(설계자)에게 새로운 멀티미디어 클립 내의 이벤트를 위한 입력을 태그하도록 요구함으로써) 수행될 수 있다.

예를 들어, 반자동 모드에서, 설계자/사용자는 예를 들어, 문맥 정보를 제공하기 위해, 주위 이벤트와 장면뿐만 아니라 그가 햅틱화하고자 하는 이벤트를 태그하여야 할 것이다. 기계 학습 알고리즘을 사용하여, 모듈(16)은 (모델에 의해 구동되는) 설계자의 스타일 및 태그된 이벤트의 상이한 상태들/유형들이 주어질 때 가장 가능성 있는 햅틱 효과를 결정한다. 이 반자동 모드를 수행할 때, 데이터베이스 구성은 로우 레벨 특징을 사용하거나 사용하지 않고서, 바람직하게는 (320) 및 (330)에서 앞서 설명된 설계자의 태깅 프로세스를 사용하여 수행된다. 이 모드에서, 예를 들어, 설계자는 총소리가 이어지는 폭발로서 이벤트를 태그할 수 있고 그 장면을 "액션"으로서 태그할 수 있다. 이 정보를 사용하여, 모듈(16)은 모델이 주어질 때 이 구성에 가장 잘 맞는 효과를 찾을 수 있다. 모델이 모든 가능한 구성을 포함하지 않을 수 있기 때문에, 일부 제안들이 모델을 사용하는 가능성 추정에 기초할 수 있다. 추가할 효과의 유형이 검출되면, 모듈(16)은 이벤트의 시간적 특징을 사용하여 그에 따라 그것을 조정할 수 있다(예를 들어, 세기, 지속 기간).

완전 자동 모드에서, 예를 들어, 어떤 개입(예를 들어, 수동 입력)도 설계자로부터 요구되지 않는다. 이 모드에서, 모듈(16)은 오디오 또는 비디오 콘텐츠의 특징을 자동적으로 분석하고 그 특징이 주어질 때 효과를 연관시키기를 시도할 수 있다. 이 모드에서, 모든 이벤트, 효과 및 문맥은 그들의 특징 및 특성에 의해 기술되고, 모듈(16)은 상이한 특징값들을 볼 수 있고 학습된 모델을 사용하여 효과 특성들의 가장 가능한 세트를 찾을 수 있다.

몇몇 실시예들에서, 추천된 햅틱 효과는 사용자/설계자 상호 작용 없이 새로운 멀티미디어 클립(325)을 위한 햅틱 효과를 만들기 위해 사용된다. 예를 들어, 이러한 실시예들에서, 모듈(16)에 의해 (380)에서 추천된 햅틱 효과는 사람의 상호 작용 없이(예를 들어, 추천을 받아들이는 데 어떤 사용자/설계자도 필요 없다) 새로운 멀티미디어 클립에 대하여 자동적으로 적용된다. 이러한 실시예들은 자동화된 햅틱 처리의 속도뿐만 아니라 학습된 햅틱화 모델에 나타난 설계자(사람)가 작성한 햅틱 효과의 사람의 터치를 제공한다.

몇몇 실시예들에서, 모델은 동적일 수 있고, 이는 사용자/설계자가 제안된/추천된 효과를 거절하고 새로운 효과를 제안할 수 있고 이 새로운 효과가 모델을 갱신하기 위해 다시 주입되는 것을 의미한다.

소정의 실시예들에서, 모듈(16)은 개인화된 진화 모델(예를 들어, 스크래치로부터 시작하여 계속 학습을 하고 있는 설계자당 하나의 모델)을 학습한다. 기타 실시예들에서, 모듈(16)은 다수의 사용자를 위해 미리 로딩된 포괄적인 및/또는 정적인 모델을 사용할 수 있다(예를 들어, 경험이 적은 사용자들이, 또는 한 사용자가 유명한 설계자와 같은 다른 설계자의 모델을 사용하기 위해).

소정의 실시예들에서, 도 3에 도시한 햅틱 설계 기능은 실시간으로 수행될 수 있고(즉, 사용자가 효과를 설계하는 동안 학습) 또는 미리 설계된 멀티미디어와 햅틱 부분 상에서 실행될 수 있다. 이것은 또한 상이한 방법들을 사용하여 만들어진 트랙들(예를 들어, 햅틱 스튜디오(Haptic Studio)와 같은 Immersion Corporation의 작성 도구들을 사용하여 만들어진 트랙들, D-Box Technology Inc.의 장치에 사용하기 위해 만들어진 트랙들 등)에 적용될 수 있다.

도 4는 본 발명의 실시예에 따른, 하이 레벨 시맨틱 디스크립터를 사용하는 베이지안 네트워크(400)를 도시한다. 이산 변수를 갖는 베이지안 네트워크(400)는 상이한 관측들(음영 부분의 노드)의 상태가 숨겨진 변수들(하얀색 부분의 노드)의 상태에 영향을 주는 햅틱 효과 설계 모델을 기술한다. 여기서 사용된 바와 같이, 관측들은 (모듈(16)에 의해 추정된) 기지의 상태들을 갖는 변수들인 반면에 숨겨진 변수 상태들은 미지이고 모델에 의해 제안될 것이다.

베이지안 네트워크(400)를 이용하는 실시예들에서, 사용자는 장면 유형, 현재의 이벤트 유형, 이전의 이벤트 유형 및 그것의 관련된 효과뿐만 아니라 이 효과의 길이와 강도를 태그한다. 이러한 실시예들에서, 모듈(16)은 확률을 계산하고 현재의 이벤트를 위한 특정 유형의 효과뿐만 아니라 그것에 대한 강도 레벨과 지속 기간 레벨을 제안하기 위해 모델 내의 이 모든 데이터를 사용할 수 있다. 이 계산은 과거에 모델에 공급되었던 이벤트들/효과들의 이전의 예들에 기초한다.

도 5는 본 발명의 실시예에 따른, 로우 레벨 디스크립터를 사용하는 베이지안 네트워크(500)를 도시한다. 연속 변수를 갖는 베이지안 네트워크(500)는 상이한 관측들(음영 부분의 노드)의 상태가 숨겨진 변수들(하얀색 부분의 노드)의 상태에 영향을 주는 햅틱 효과 설계 모델을 기술한다. 여기서 사용된 바와 같이, 관측들은 (모듈(16)에 의해 추정된) 기지 상태들을 갖는 변수들인 반면에 숨겨진 변수 상태들은 미지이고 모델에 의해 제안될 것이다.

베이지안 네트워크(500)를 이용하는 실시예들에서, 모듈(16)은 이전의 이벤트의 효과의 길이, 강도 및 특성(예를 들어, 주파수, 패턴, 형상)을 자동적으로 검출/추출한다. 이러한 실시예들에서, 모듈(16)은 또한 현재의 이벤트의 오디오/시각적 특징(예를 들어, 가청 주파수(AF) 프로필, 컬러 히스토그램 변화 등)을 자동적으로 검출한다. 이러한 실시예들에서, 모듈(16)은 확률을 계산하고 현재의 이벤트를 위한 효과(그것의 강도, 세기 및 유형에 의해 기술됨)를 제안하기 위해 모델 내의 이 모든 데이터를 사용할 수 있다.

오디오, 비디오 및/또는 감각 데이터로부터의 어떤 알려진 자동적 햅틱 변환 알고리즘들은 사람의 예술적 터치가 종종 부족하다. 멀티미디어 클립 내의 동일한 이벤트가 이벤트의 문맥이 주어질 때 상이한 설계자들에 의해 상이한 방식으로 햅틱화될 수 있다. 대조적으로, 실시예들은 그것의 특정한 문맥(예를 들어, 멀티미디어 주제, 주위 이벤트의 유형 등)에서 각각 취해진 상이한 멀티미디어 이벤트들에 상이한 설계된 효과들을 연관시킴으로써 이러한 사람의 터치를 캡처한다. 실시예들은 다음에 동일한 성질의 이벤트와 마주칠 때 효과를 제안하기 위해 이 캡처된 정보를 사용할 수 있다. 예를 들어, 연속하는 폭발들이 있는 액션 영화에서, 설계자는 첫 번째 폭발에 더 많은 중요성을 주고 강한 효과로 그것을 햅틱화하는 반면 이후의 폭발들은 더 적은 세기로 햅틱화한다. 그러나, 알려진 자동화 변환 도구는 유사한 효과들을 유사한 이벤트들에 할당할 것이다. 대조적으로, 실시예들은 상기 자동화 변환에 이러한 문맥 인자와 예술적 터치 기능을 더한 것이다.

개시된 바와 같이, 실시예들은 사람의 햅틱 효과 설계자의 예술적 터치를 고려하는 학습된 햅틱화 모델을 사용하여 입력 멀티미디어 클립을 위한 햅틱 효과를 자동적으로 추천할 수 있는 햅틱 설계 작성 도구를 구현한다. 그러므로, 사용자/설계자가 수동으로 각각의 햅틱 효과를 설계할 필요없이 햅틱 효과가 자동적으로 추천될 수 있다.

여러 실시예들이 본 명세서에서 구체적으로 설명 및/또는 개시되었다. 그러나, 개시된 실시예들의 변형 및 변화는 본 발명의 사상 및 의도된 범위를 벗어나지 않고 전술한 교시들에 의해 및 첨부된 청구 범위 내에 포괄된다는 것을 이해할 것이다.

10: 시스템, 12: 버스, 14: 메모리, 15: 운영 체제, 18: 추가적인 애플리케이션 모듈, 20: 통신 장치, 22: 프로세서, 24: 디스플레이, 26: 액추에이터, 28: 스피커, 30: 데이터베이스

Claims

프로세서에 의해 실행될 때, 상기 프로세서로 하여금 하나 이상의 햅틱 효과를 작성하게 하는 명령어들이 저장된 컴퓨터 판독 가능 매체로서, 상기 작성은
사람의 햅틱 설계자 스타일을 학습함으로써 생성된 햅틱화 모델을 제공하는 것;
오디오와 비디오 중 적어도 하나 및 복수의 이벤트를 포함하는 입력을 수신하는 것; 및
상기 학습된 햅틱화 모델에 기초하여 상기 입력으로부터의 대응하는 이벤트와 연관될 햅틱 효과의 유형을 추천하는 것
을 포함하는 컴퓨터 판독 가능 매체.
제1항에 있어서, 상기 작성은
하나 이상의 작성된 햅틱 효과에 대한 작성된 햅틱 효과 특성과 하나 이상의 멀티미디어 이벤트에 대한 멀티미디어 이벤트 특징을 수신하는 것;
작성된 햅틱 효과의 유형들을, 상기 작성된 햅틱 효과 특성과 상기 미디어 이벤트 특징에 기초하여 멀티미디어 이벤트의 유형들과 연관시키는 것;
상기 연관의 결과에 기초하여 상기 학습된 햅틱화 모델을 구성하는 것을 더 포함하는 컴퓨터 판독 가능 매체.
제2항에 있어서, 상기 작성은 상기 작성된 햅틱 효과 특성과 상기 멀티미디어 이벤트 특징에 대응하는 수동 태그 데이터를 수신하는 것을 더 포함하고,
상기 수동 태그 데이터는 각각의 햅틱 효과와 멀티미디어 이벤트에 대한 문맥을 제공하고,
상기 연관은 적어도 상기 수동 태그 데이터에 기초하는 컴퓨터 판독 가능 매체.
제2항에 있어서, 상기 작성된 햅틱 효과 특성에 대응하는 상기 수동 태그 데이터는 상기 작성된 햅틱 효과의 명칭 또는 상기 효과의 세기의 레벨 중 적어도 하나를 포함하는 컴퓨터 판독 가능 매체.
제2항에 있어서, 상기 멀티미디어 이벤트 특징에 대응하는 상기 수동 태그 데이터는 상기 이벤트의 명칭, 장면 유형, 선행 이벤트들, 후속 이벤트들, 클립 형태, 전경의 다른 이벤트들, 또는 배경의 다른 이벤트들 중 적어도 하나를 포함하는 컴퓨터 판독 가능 매체.
제2항에 있어서, 상기 작성은 상기 작성된 햅틱 효과의 각각의 효과를 기술하는 하나 이상의 추출된 특성과 상기 멀티미디어 이벤트의 각각의 이벤트를 기술하는 하나 이상의 추출된 특징을 추출하는 것을 더 포함하고,
상기 연관은 적어도 상기 추출된 특성과 상기 추출된 특징에 기초하여 상기 작성된 햅틱 효과 특성을 상기 멀티미디어 이벤트 특징과 연관시키는 것을 포함하고,
각각의 효과를 기술하는 상기 추출된 특성은 지속 기간, 진폭, 형상, 및 주파수를 포함하고,
각각의 이벤트를 기술하는 상기 추출된 특징이 오디오 및 시각적인 특징, 장면 다이내믹, 및 상기 이벤트의 문맥을 포함하는 컴퓨터 판독 가능 매체.
제2항에 있어서, 상기 작성은 상기 멀티미디어 이벤트 내의 각각의 이벤트를 기술하는 하나 이상의 추출된 특징을 추출하는 것을 더 포함하고,
상기 연관은 적어도 상기 추출된 특징에 더 기초하는 컴퓨터 판독 가능 매체.
제2항에 있어서, 상기 학습된 햅틱화 모델을 구성하는 것은 베이지언 모델을 구성하는 것을 포함하는 컴퓨터 판독 가능 매체.
하나 이상의 햅틱 효과를 작성하는 컴퓨터 구현 방법으로서,
사람의 햅틱 설계자 스타일을 학습함으로써 생성된 햅틱화 모델을 제공하는 단계;
오디오와 비디오 중 적어도 하나 및 복수의 이벤트를 포함하는 입력을 수신하는 단계; 및
상기 학습된 햅틱화 모델에 기초하여 상기 입력으로부터의 대응하는 이벤트와 연관될 햅틱 효과의 유형을 추천하는 단계
를 포함하는 컴퓨터 구현 방법.
제9항에 있어서, 하나 이상의 작성된 햅틱 효과에 대한 작성된 햅틱 효과 특성과 하나 이상의 멀티미디어 이벤트에 대한 멀티미디어 이벤트 특징을 수신하는 단계;
작성된 햅틱 효과의 유형을, 상기 작성된 햅틱 효과 특성과 상기 미디어 이벤트 특징에 기초하여 멀티미디어 이벤트의 유형과 연관시키는 단계;
상기 연관의 결과에 기초하여 상기 학습된 햅틱화 모델을 구성하는 단계를 더 포함하는 컴퓨터 구현 방법.
제10항에 있어서, 상기 작성된 햅틱 효과 특성과 상기 멀티미디어 이벤트 특징에 대응하는 수동 태그 데이터를 수신하는 단계를 더 포함하고,
상기 수동 태그 데이터는 각각의 햅틱 효과와 멀티미디어 이벤트에 대한 문맥을 제공하고,
상기 연관은 적어도 상기 수동 태그 데이터에 기초하는 컴퓨터 구현 방법.
제10항에 있어서,
상기 작성된 햅틱 효과 특성에 대응하는 상기 수동 태그 데이터는 상기 작성된 햅틱 효과의 명칭 또는 상기 효과의 세기의 레벨 중 적어도 하나를 포함하고,
상기 멀티미디어 이벤트 특징에 대응하는 상기 수동 태그 데이터는 상기 이벤트의 명칭, 장면 유형, 선행 이벤트들, 후속 이벤트들, 클립 형태, 전경의 다른 이벤트들, 또는 배경의 다른 이벤트들 중 적어도 하나를 포함하는 컴퓨터 구현 방법.
제10항에 있어서, 상기 작성된 햅틱 효과의 각각의 효과를 기술하는 하나 이상의 추출된 특성과 상기 멀티미디어 이벤트의 각각의 이벤트를 기술하는 하나 이상의 추출된 특징을 추출하는 단계를 더 포함하고,
상기 연관은 적어도 상기 추출된 특성과 상기 추출된 특징에 기초하여 상기 작성된 햅틱 효과 특성을 상기 멀티미디어 이벤트 특징과 연관시키는 단계를 포함하고,
각각의 효과를 기술하는 상기 추출된 특성은 지속 기간, 진폭, 형상, 및 주파수를 포함하고,
각각의 이벤트를 기술하는 상기 추출된 특징이 오디오 및 시각적인 특징, 장면 다이내믹, 및 상기 이벤트의 문맥을 포함하는 컴퓨터 구현 방법.
제10항에 있어서, 상기 멀티미디어 이벤트 내의 각각의 이벤트를 기술하는 하나 이상의 추출된 특징을 추출하는 단계를 더 포함하고,
상기 연관은 적어도 상기 추출된 특징에 더 기초하는 컴퓨터 구현 방법.
시스템으로서,
햅틱 설계 모듈을 저장하도록 구성된 메모리 장치;
상기 메모리 장치와 통신하고, 햅틱 효과를 작성하기 위해 상기 메모리 장치에 저장된 햅틱 설계 모듈을 실행하도록 구성된 프로세싱 장치를 포함하고, 상기 작성은
사람의 햅틱 설계자 스타일을 학습함으로써 구성되는 햅틱화 모델을 구성하는 것;
오디오와 비디오 중 적어도 하나 및 복수의 이벤트를 포함하는 입력을 수신하는 것; 및
상기 학습된 햅틱화 모델에 기초하여 상기 입력으로부터의 대응하는 이벤트와 연관될 햅틱 효과의 유형을 추천하는 것
을 포함하는 시스템.
제15항에 있어서, 상기 작성은
하나 이상의 작성된 햅틱 효과에 대한 작성된 햅틱 효과 특성과 하나 이상의 멀티미디어 이벤트에 대한 멀티미디어 이벤트 특징을 수신하는 것;
작성된 햅틱 효과의 유형을, 상기 작성된 햅틱 효과 특성과 상기 미디어 이벤트 특징에 기초하여 멀티미디어 이벤트의 유형과 연관시키는 것;
상기 연관의 결과에 기초하여 상기 학습된 햅틱화 모델을 구성하는 것을 더 포함하는 시스템.
제16항에 있어서, 상기 작성은 상기 작성된 햅틱 효과 특성과 상기 멀티미디어 이벤트 특징에 대응하는 수동 태그 데이터를 수신하는 것을 더 포함하고,
상기 수동 태그 데이터는 각각의 햅틱 효과와 멀티미디어 이벤트에 대한 문맥을 제공하고,
상기 연관은 적어도 상기 수동 태그 데이터에 기초하는 시스템.
제16항에 있어서, 상기 작성된 햅틱 효과 특성에 대응하는 상기 수동 태그 데이터는 상기 작성된 햅틱 효과의 명칭 또는 상기 효과의 세기의 레벨 중 적어도 하나를 포함하고,
상기 멀티미디어 이벤트 특징에 대응하는 상기 수동 태그 데이터는 상기 이벤트의 명칭, 장면 유형, 선행 이벤트들, 후속 이벤트들, 클립 형태, 전경의 다른 이벤트들, 또는 배경의 다른 이벤트들 중 적어도 하나를 포함하는 시스템.
제16항에 있어서, 상기 작성은 상기 작성된 햅틱 효과의 각각의 효과를 기술하는 하나 이상의 추출된 특성과 상기 멀티미디어 이벤트의 각각의 이벤트를 기술하는 하나 이상의 추출된 특징을 추출하는 것을 더 포함하고,
상기 연관은 적어도 상기 추출된 특성과 상기 추출된 특징에 기초하여 상기 작성된 햅틱 효과 특성을 상기 멀티미디어 이벤트 특징과 연관시키는 것을 포함하고,
각각의 효과를 기술하는 상기 추출된 특성은 지속 기간, 진폭, 형상, 및 주파수를 포함하고,
각각의 이벤트를 기술하는 상기 추출된 특징이 오디오 및 시각적인 특징, 장면 다이내믹, 및 상기 이벤트의 문맥을 포함하는 시스템.
제16항에 있어서, 상기 작성은 상기 멀티미디어 이벤트 내의 각각의 이벤트를 기술하는 하나 이상의 추출된 특징을 추출하는 것을 더 포함하고,
상기 연관은 적어도 상기 추출된 특징에 더 기초하는 시스템.