KR20180041049A

KR20180041049A - 상황 압력 감지 햅틱 응답

Info

Publication number: KR20180041049A
Application number: KR1020170103122A
Authority: KR
Inventors: 로버트 더블유. 휴벨; 대니 에이. 그랜트
Original assignee: 임머숀 코퍼레이션
Priority date: 2016-10-13
Filing date: 2017-08-14
Publication date: 2018-04-23
Also published as: US10296091B2; EP3309656A1; US20180107276A1; CN107943273A; JP2018063700A

Abstract

햅틱 효과를 발생시키는 방법은 제스처를 사용하여 디바이스에 가해지는 압력의 입력을 검출하는 단계와, 압력 입력에 기초하여 제스처와 연관된 레벨을 결정하는 단계와, 제스처에 기초한 상기 레벨의 항목의 선택 및 상기 레벨의 항목과 연관된 컨텍스트를 결정하는 단계와, 상기 레벨의 항목의 컨텍스트에 기초하여 햅틱 파라미터를 포함하는 상황 햅틱 효과를 발생시키는 단계를 포함한다.

Description

상황 압력 감지 햅틱 응답{CONTEXTUAL PRESSURE SENSING HAPTIC RESPONSES}

일 실시예는 일반적으로 햅틱 효과에 관한 것이며, 더 구체적으로는 압력 감지에 응답하여 햅틱 효과를 발생시키는 디바이스에 관한 것이다.

햅틱은 힘, 진동, 및 동작 같은 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 부여함으로써 사용자의 터치의 감각을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스, 터치스크린 디바이스, 및 개인용 컴퓨터 등의 디바이스는 햅틱 효과를 발생시키도록 구성될 수 있다. 일반적으로, 햅틱 효과를 발생시킬 수 있는 내장 하드웨어(예를 들어 액추에이터)에 대한 호출(call)이 디바이스의 운영 시스템("OS") 내에 프로그램될 수 있다. 이들 호출은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가 예를 들어 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 일부 다른 컨트롤을 사용하여 디바이스와 상호작용할 때, 디바이스의 OS는 제어 회로를 통해 내장 하드웨어에 재생 명령을 송신할 수 있다. 내장 하드웨어는 그 후 적절한 햅틱 효과를 생성한다.

디바이스는 특정 디바이스의 브라우징 콘텐츠 또는 다른 콘텐츠 예를 들어 음악, 영화, 게임 또는 다른 미디어의 출력과 햅틱 효과의 출력을 조화시키도록 구성될 수 있으므로, 햅틱 효과가 다른 콘텐츠에 통합된다. 예를 들어, 햅틱 효과는 관련 항목 리스트를 통한 스크롤을 보조하기 위해 사용될 수 있는데, 디바이스는 사용자에게 음악 앨범 또는 서적의 리스트를 제공할 수 있고, 사용자는 이러한 리스트를 통해 스크롤하기 위해 화면에서의 손가락 스와이프(swipe) 같은 제스처를 이용할 수 있으며, 사용자가 화면을 스크롤함에 따라 클릭 또는 팝(pop) 같은 응답이 각각의 항목과 일치하도록 프로그램될 수 있다. 그러나, 디바이스 및 미디어가 계속 진행됨에 따라, 간단한 클릭은 리스트 내의 특정 항목에 대한 충분한 정보를 전달하기에 불충분할 수 있다.

일 실시예는 햅틱 효과를 발생시키는 방법이며, 상기 방법은 제스처를 사용하여 디바이스에 부여된 압력 입력을 검출하는 단계 및 압력 입력에 기초하여 제스처와 연관된 레벨을 결정하는 단계와, 제스처에 기초한 그 레벨의 항목의 선택 및 그 레벨의 항목과 연관된 컨텍스트(context)의 선택을 결정하는 단계와, 그 레벨의 항목의 컨텍스트에 기초한 햅틱 효과 파라미터에 따라 항목의 선택에 응답하여 상황(contextual) 햅틱 효과를 발생시키는 단계를 포함한다.

도 1은 본 발명의 일 실시예에 따른 시스템의 블록도를 도시한다.
도 2는 압력 기반 햅틱 효과를 위한 시스템의 실시예를 도시한다.
도 3은 압력 기판 햅틱 효과를 위한 시스템의 실시예를 도시한다.
도 4는 압력 기판 햅틱 효과를 위한 시스템의 실시예의 사시도를 도시한다.
도 5는 압력 기판 햅틱 효과를 위한 시스템의 실시예의 사시도를 도시한다.
도 6은 본 발명의 일 실시예에 따른 시스템의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 시스템의 흐름도이다.

일 실시예는 압력 감지를 이용하여 디바이스와 상호작용하는 사용자에게 상황별 햅틱 응답을 제공하는 시스템이다. 디바이스는 예를 들어 미디어의 선택을 표시하는 적어도 하나의 화면을 제공할 수 있다. 디바이스는 사용자가 미디어의 리스트를 통해 스크롤하는 것을 허용하며 리스트 내에 포함된 항목에 관련되며 압력 관련 상호작용에 응답하는 햅틱 효과를 제공한다. 일 실시예는 컨텍스트를 리스트의 각 항목과 연관시키는 데이터베이스를 포함한다. 일 실시예는 항목과 연관된 컨텍스트에 기초하여 디바이스에서 햅틱 효과를 발생시킨다.

도 1은 본 발명의 실시예를 구현할 수 있는 햅틱 가능 모바일 디바이스 또는 시스템(10)의 블록도이다. 시스템(10)은 하우징 (15) 내에 장착된 터치 감응 표면(11) 또는 다른 타입의 사용자 인터페이스를 포함하고, 기계적 키/버튼(13)을 포함할 수 있다. 시스템(10)에서 햅틱 효과를 발생시키는 햅틱 피드백 시스템이 시스템(10)의 내부에 있다. 일 실시예에서, 햅틱 효과는 터치 표면(11)에 또는 시스템(10)의 임의의 다른 부분에서 발생된다.

햅틱 피드백 시스템은 프로세서 또는 제어기(12)를 포함한다. 프로세서(12)에는 메모리(20) 및 구동 회로(16)가 결합되고, 구동 회로는 햅틱 출력 디바이스(18)에 결합된다. 프로세서(12)는 임의의 타입의 범용 프로세서일 수 있거나, 또는 주문형 집적 회로("ASIC")와 같이 햅틱 효과를 제공하도록 특별히 설계된 프로세서 일 수 있다. 프로세서(12)는 전체 시스템(10)을 동작시키는 동일한 프로세서일 수 있거나, 또는 별개의 프로세서일 수 있다. 프로세서(12)는, 하이 레벨 파라미터에 기초하여 어떤 햅틱 효과가 재생되어야 하는지 및 이러한 효과가 재생되는 순서를 결정할 수 있다. 일반적으로, 특정한 햅틱 효과를 정의하는 하이 레벨 파라미터는 크기(magnitude), 빈도(frequency) 및 지속기간(duration)을 포함한다. 스트리밍 모터 커맨드(streaming motor command)와 같은 로우 레벨 파라미터가 특정한 햅틱 효과를 결정하기 위하여 또한 이용될 수 있다. 햅틱 효과는, 햅틱 효과가 발생될 때의 이들 파라미터의 소정의 변동 또는 사용자의 상호작용에 기초한 이들 파라미터의 변동을 포함하는 경우에 "동적"인 것으로 고려될 수 있다.

프로세서(12)는 제어 신호를 구동 회로(16)에 출력하고, 구동 회로는 원하는 햅틱 효과가 발생되게 하기 위하여 요구된 전기 전류 및 전압(즉, "모터 신호")을 햅틱 출력 디바이스(18)에 공급하는데 이용되는 전자 컴포넌트 및 회로를 포함한다. 시스템(10)은 하나보다 많은 햅틱 출력 디바이스(18)를 포함할 수 있고, 각각의 햅틱 출력 디바이스는 공통의 프로세서(12)에 모두 결합되는 별개의 구동 회로(16)를 포함할 수 있다. 메모리 디바이스(20)는 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM")와 같은 임의의 타입의 저장 디바이스 또는 컴퓨터 판독가능 매체일 수 있다. 메모리(20)는 운영 시스템 명령어와 같이 프로세서(12)에 의해 실행되는 명령어를 저장한다. 명령어 중, 메모리(20)는, 이하에서 더 상세하게 설명되는 바와 같이, 프로세서(12)에 의해 실행될 때 감지된 압력에 기초하여 상황 햅틱 효과를 제공하는 명령어를 포함하는 상황 압력 감지 햅틱 효과 발생 모듈(22)을 포함한다. 메모리(20)는 또한 프로세서(12) 내부에 위치되거나, 또는 내부 및 외부 메모리의 임의의 조합일 수 있다. 메모리(20)는 또한 클라우드 기반 시스템에 외부적으로 위치될 수 있다.

햅틱 출력 디바이스(18)는 햅틱 효과를 발생시키는 임의의 타입의 디바이스일 수 있다. 일 실시예에서, 햅틱 출력 디바이스(18)는 진동 타입 햅틱 효과를 발생시키는 액추에이터이다. 이를 위해 이용되는 액추에이터는 전자기 액추에이터, 예를 들어 편심 질량이 모터에 의해 이동되는 편심 회전 질량(Eccentric Rotating Mass)("ERM"), 스프링에 부착된 질량이 앞뒤로 구동되는 선형 공진 액추에이터(Linear Resonant Actuator)("LRA"), 또는 "스마트 재료(smart material)", 예를 들어 압전성물질(piezoelectric), 전기활성 폴리머(electroactive polymers) 또는 형상 기억 합금(shape memory alloy)을 포함할 수 있다. 또한, 햅틱 출력 디바이스(18)는 정전 마찰(electrostatic friction)("ESF") 디바이스 또는 초음파 표면 마찰(ultrasonic surface friction)("USF") 디바이스와 같은 디바이스, 또는 초음파 햅틱 트랜스듀서로 음향 방사 압력(acoustic radiation pressure)을 유도하는 디바이스일 수 있다. 다른 디바이스는 햅틱 기판 및 가요성 또는 변형가능 표면을 이용할 수 있고, 디바이스는 에어 제트 등을 이용한 에어 퍼프(puff)와 같은 사출식(projected) 햅틱 출력을 제공할 수 있다.

터치 표면(11)을 갖는 실시예에서, 터치스크린은 터치를 인식하고, 표면의 터치의 위치 및 크기를 또한 인식할 수 있다. 터치에 대응하는 데이터는 프로세서(12) 또는 시스템(10) 내의 다른 프로세서로 전송되고, 프로세서(12)는 터치를 해석하고 이에 응답하여 햅틱 효과 신호를 발생시킨다. 터치 표면(11)은 용량성 감지(capacitive sensing), 저항성 감지(resistive sensing), 표면 탄성파 감지(surface acoustic wave sensing), 압력 감지(pressure sensing), 광학 감지(optical sensing) 등을 포함하는 임의의 감지 기술을 이용하여 터치를 감지할 수 있다. 터치 표면(11)은 다중-터치 접촉을 감지할 수 있고, 동시에 발생하는 다수의 터치를 구별가능할 수 있다. 터치 표면(11)은 키, 버튼, 다이얼 등과 같은 사용자가 상호작용하기 위한 이미지를 발생시키고 표시하는 터치스크린일 수 있거나, 또는 최소의 이미지를 갖거나 이미지를 갖지 않는 터치패드일 수 있다.

또한, 일 실시예에서, 압력 센서(14)는 사용자에 의해 표면(예를 들어, 터치 감응 표면(11)에 가해진 압력의 양을 검출하도록 구성된다. 압력 센서(14)는 추가로 프로세서(12)에 센서 신호를 전송하도록 구성된다. 압력 센서(14)는 예를 들어 용량성 센서, 스트레인 게이지, 불완전 내부 전반사 센서(frustrated total internal reflection sensor), 또는 FSR을 포함할 수 있다. 일부 실시예에서, 압력 센서(14)는 사용자와 표면(11) 사이의 접촉부의 표면적을 결정하도록 구성될 수 있다.

시스템(10)은 휴대형 디바이스 또는 모바일 디바이스, 예를 들어 셀룰러 전화, 개인 정보 단말("PDA"), 스마트폰, 컴퓨터 태블릿, 게이밍 콘솔 등일 수 있거나, 또는 사용자 인터페이스를 제공하고, 하나 이상의 액추에이터를 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 타입의 디바이스일 수 있다. 사용자 인터페이스는 터치 감응 표면일 수 있거나, 또는 물리적 버튼, 마우스, 터치패드, 미니 조이스틱, 스크롤 휠, 트랙볼, 도어 노브, 게임 패드 또는 게임 제어기 등과 같은 임의의 다른 타입의 사용자 인터페이스일 수 있다. 시스템(10)은 물리적으로 조작될 때 햅틱 효과를 발생시키는 가요성/굴곡가능(bendable) 디바이스일 수 있고, 이러한 경우 "사용자 인터페이스"는 디바이스 자체의 가요성/굴곡가능 부분이다.

도 2는 압력 기반 햅틱 효과를 위한 시스템의 실시예를 도시한다. 시스템(200)은 컴퓨팅 디바이스(202)를 포함한다. 일부 실시예에서, 컴퓨팅 디바이스(202)는 태블릿, e-리더, 차량 컴퓨터(예를 들어, 스테레오, HVAC, 조명, 네비게이션, 또는 다른 차량 기능 같은, 하나 이상의 자동차 시스템 또는 디바이스를 제어하기 위한 컴퓨터), 의료 디바이스, 랩톱 컴퓨터, 데스크톱 컴퓨터, 게임 시스템, 휴대용 게이밍 디바이스, 게임패드, 또는 다른 전자 디바이스를 포함할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(202)는 다기능 제어기, 예를 들어 키오스크, 자동차, 경고 시스템, 서모스탯, 또른 다른 타입의 컴퓨팅 디바이스에서의 사용을 위한 제어기를 포함할 수 있다. 도 2에 도시된 실시예에서, 컴퓨팅 디바이스(202)는 스마트폰 같은 모바일 폰을 포함한다.

이런 예에서, 컴퓨팅 디바이스(202)는 또한 터치 감응 표면 및 디스플레이(204)를 조합하는 터치스크린 디스플레이(204)를 포함한다. 터치스크린 디스플레이(204)는 사용자 인터페이스(예를 들어, 게임 또는 음악 카탈로그)를 출력한다. 일부 실시예에서, 사용자 인터페이스는 하나 이상의 아이콘/아이템 또는 가상 객체(206)를 포함할 수 있다. 도 2에 도시된 실시예에서, 가상 객체(206)는 앨범 또는 영화 같은 가상 미디어 항목을 포함한다. 도시된 바와 같이, 가상 객체(206)는 복수의 가상 객체(항목 211 내지 217로서 도시됨) 중 4번째 것(좌측에서 우측으로 이동)이다.

사용자(208)는 예를 들어, 터치스크린 디스플레이(204)에서 탭핑(tapping), 터치 또는 제스처(예를 들어, 2개의 손가락 오므림 또는 스와이프(swipe))를 행함으로써 사용자 인터페이스와 상호작용할 수 있다. 일부 실시예에서, 사용자(208)는 가상 객체(206) 같은 앨범 또는 영화를 선택 또는 재생하기 위해 사용자 인터페이스와 상호작용할 수 있다. 터치스크린 디스플레이(204)는 길이 및 폭을 갖는 평면을 형성하는 편평한 스크린이며, 길이 및 폭은 x축 및 y축의 2개의 차원을 나타낸다. 사용자(208)는 점, 제스처, 다중 점, 또는 혼합 중 어느 하나로 디스플레이(204)를 터치함으로써 디스플레이(204)와 상호작용할 수 있다. 사용자(208)는 또한 디스플레이(204)를 밀 수 있으며, 이에 의해 디스플레이(204)의 z축을 따른(즉, 디스플레이(204)의 평면에 대해 수직인 또는 실질적으로 수직인) 제3 차원 또는 깊이가 구성된다. 이와 같이, 사용자(208)는 3개의 차원에서 디바이스(202)와 상호작용할 수 있다.

도 3은 사용자(308)가 상호작용할 수 있는 다중 레벨(항목 311 내지 317로 도시됨)을 포함하는 사용자 인터페이스(304)를 특징으로 하는 실시예(300)를 도시한다. 사용자(308)는 사용자 인터페이스 레벨과 연관된 압력의 레벨을 부여함으로써 상이한 인터페이스 레벨과 상호작용할 수 있다. 대안으로, 사용자(308)는 약한 압력을 부여함으로써 사용자 인터페이스에서 항목(311 내지 317)과 연관된 감촉 또는 항목(311 내지 317)을 통한 스크롤 또는 브라우징과 연관된 햅틱 응답을 느낄 수 있다. 이러한 실시예에서, 사용자(308)는 더 강한 양의 압력을 부여함으로써 항목을 선택할 수 있다. 따라서, 컴퓨팅 디바이스(302)는 항목과의 상호작용의 다중 층을 제공할 수 있고, 이는 사용자 체험을 향상시킬 수 있다.

도 3은 터치 표면에 부여되는 압력의 양을 변화시킴으로써 접근될 수 있는 (예를 들어, 사용자 인터페이스(304)에 의해 형성되는 평면에 대해 수직이거나 실질적으로 수직인 z축 방향의) 다중 레벨을 포함하는 실시예를 도시한다. 일 실시예에서, 압력 부여의 증가는 z 방향의 스크롤 또는 이동 속도를 증가시키는 한편, 압력 부여의 감소는 z 방향의 스크롤 또는 이동 속도를 감소시킨다.

도 4는 햅틱 가능 디바이스(402)의 실시예(400)의 사시도를 도시한다. 도 4에서, 사용자(408)는 터치스크린(404)을 누르며, 이 상호작용은 화살표 410으로 나타낸 디바이스의 표면으로의(즉, 터치스크린(404)에 수직이거나 실질적으로 수직인 z축으로의) 압력 부여를 수반한다. 도 4에서, 사용자(408)는 제스처를 사용하여 복수의 가용한 아이콘으로부터 선택된 특정한 아이콘(406)을 누른다. 항목(406)의 선택은 크기 또는 밝기의 증가 같은 항목(406)의 향상된 모습을 가져올 수 있다. 일단 선택되면, 항목(406)을 선택하기 위해 사용되는 압력에 따른 동일하거나, 더 크거나, 더 작은 연속된 압력이 항목(406)에 대한 상황 햅틱 응답을 사용자(408)에게 제공할 수 있다.

도 5는 일 실시예에 따른 가상 현실 환경에 참여한 사용자의 사시도를 도시한다. 사용자(508)는 헤드기어(501) 및 주변기기(502), 예를 들어 장갑을 포함할 수 있는 착용형 햅틱 가능 디바이스(500)를 이용하는 것으로 도시되어 있다. 도시된 바와 같은 가상 환경에서, 사용자(508)는 디스플레이 또는 가상 화면(504, 505)(및 잠재적 추가 화면/레벨)을 인식할 수 있다. 실시예는, 사용자(508)가 가상 화면(504)에 실질적으로 수직인 인식된 방향으로 가상 화면(504)을 미는 가상 환경 내의 제스처를 이용하여 가상 압력을 부여하고 다음 레벨에서 다음 화면(505)을 미는 추가적인 압력을 부여하는 것을 포함한다. 가상 시스템은 가상 환경 내의 사용자의 이동과 가상 환경 내에 포함된 실제 및/또는 가상 객체/항목(예를 들어, 항목(506))과의 상호작용을 감시하는 실제 또는 가상 센서를 포함할 수 있다. 일 실시예의 측정된 "압력"은 사용자의 손이 가상 화면(504)에 대해 실질적으로 수직인 방향으로 얼마나 많이 이동했는지의 척도이다.

사용자 인터페이스가 더 복잡해지고 사용자 콘텐츠가 급속하게 증가함에 따라서, 더욱 효율적으로 그리고 접근되는 콘텐츠의 상황을 이해하면서 그 콘텐츠에 접근하는 방법에 대한 필요성이 증가하고 있다. 상황 이해는 사용자 인터페이스("UI") 상호작용 신뢰성을 향상시킨다.

시스템의 실시예는 디바이스의 사용자에게 상황 촉각 응답을 제공하기 위해서 동적 햅틱 응답을 사용한다. 일 실시예에서, 디바이스와의 사용자 상호작용은 사용자 상호작용의 제3 차원 또는 평면(즉, z축) 내에 있다. 일 실시예에서, 시스템은 압력 감지 및/또는 터치 표면 커버리지 방법("슈도 압력(pseudo pressure)")을 사용한다.

사용자가 디바이스의 디스플레이 화면과 상호작용함에 따라, 상부 레벨에서, z 방향의 레벨 내에서, 또는 아이콘의 클릭 후 중 어느 하나에서, 사용자는 적용 옵션의 리스트 또는 디스플레이 화면에 열거 또는 표시되거나 아이콘하에 모여 있는 미디어 항목의 리스트일 수 있는 다수의 항목에 접근하기 위해 좌/우 또는 상/하로 스크롤할 수 있다. 사용자는 목표 항목에 도달하기 위해서 한 번에 한 개씩 항목을 통해 스크롤할 수 있다. 각각의 항목이 화면에 나타남에 따라, 디바이스는 사용자가 검출할 수 있는 햅틱 효과를 발생시킬 수 있다. 2진(즉, "온 또는 오프")의 간단한 햅틱 상호작용 형태의 1차 햅틱 효과가 각각의 항목이 화면에 나타남에 따라 발생될 수 있다. 디바이스는 바람직하게는 사용자에 의해 터치 또는 조절되도록 구성되는 디스플레이 화면을 갖는 적어도 임의의 휴대형 또는 착용형 디바이스일 수 있다. 착용형 디바이스는 햅틱 가능한, 사용자에 의해 착용되는 임의의 디바이스일 수 있다. 디바이스는 햅틱 피드백이 사용자에 의해 검출될 수 있도록 사용 동안 사용자에 인접하고 사용자와 접촉하도록 구성 및 설계되는 적절한 것일 수도 있다.

일 실시예는 사용자가 좌/우 평면(x축) 및 상/하 평면(y축) 이외에 제3 평면(z축)에서 깊이 상호작용을 가질 수 있도록 허용하는 옵션을 포함한다. 깊이 방향의, 제3 차원의 상호작용의 사용은, 이전에 가용했던 것보다 더 신속하고 그리고/또는 더 완전한 인터페이스 옵션을 제공할 수 있다. 깊이 방향(즉, z축)의 이동에서의 사용자의 관심을 감지하기 위해서, 일 실시예는 슈도 압력으로도 알려진 압력 감지 또는 표면 커버리지 감지 방법을 사용한다. 사용자가 x축, y축 또는 z축을 따라 일 방향으로 스크롤함에 따라, 제1 촉각 응답은 팝 또는 클릭 또는 확인으로서의 역할을 하는 다른 간단한 상호작용의 형태로 제공될 수 있으며 2진(즉, 온 또는 오프) 응답일 수 있다. 제1 촉각 응답은 디바이스의 디스플레이에 나타내는 복수의 항목의 리스트 내에서 올 수 있는 항목과 일치하도록 생성될 수 있다.

상술한 제1 촉각 응답 이외에, 실시예는 디스플레이 화면에 나타나는 항목의 컨텍스트에 기초하여 동적 햅틱 응답의 형태로 제공되는 추가적인 2차 촉각 응답을 포함한다. 사용자가 항목을 더 잘 이해하고 디바이스 및 디바이스에 저장된 항목과의 상호작용을 더 잘 제어하는 것을 허용하기 위해서 상황 정보가 제공된다. 즉, 상황 정보는 어떤 아이콘이 표시되든 간에 디스플레이 화면에서 항목에 대한 추가적인 정보를 사용자에게 제공한다. 상황 정보는 디스플레이 화면의 이미지를 보충할 수 있거나 이미지 자체와 독립적인 아이콘에 대한 정보를 제공할 수 있다. 상황 정보는 또한 디바이스에 표시된 아이콘 또는 이미지에 관련되거나, 그 내부에 포함되거나, 또는 그것에 종속하는 하나 이상의 항목에 대한 정보를 전달하기 위해 사용될 수 있다.

예를 들어, 일 실시예에서, 사용자는 압력을 이용하여 도 3의 항목 311 내지 317 같은 메뉴, 화면, 또는 다른 콘텐츠의 적층체를 통해 z축으로 탐색(navigating)할 수 있다. 사용자가 적층체를 통해 이동함에 따라, 사용자에 의해 가해지는 압력은 디바이스가 메뉴의 적층체를 통해 스크롤하게 할 수 있다. 사용자에 의해 가해지는 압력의 양은 스크롤의 속도의 변화를 유발할 수 있고, 적층체를 통한 이동 속도에 기초하여 동적으로 변화될 수 있는 햅틱 응답을 수반할 수 있다. 예를 들어, 사용자에 의해 가해지는 압력이 클수록, 스크롤의 속도는 증가할 수 있다. 증가된 압력에 상응하여 속도가 증가함에 따라, 제공된 햅틱 응답도 스크롤의 속도 또는 스크롤의 속도가 변화된 것을 사용자에게 전달하기 위해 동적으로 변화될 수 있다. 즉, 사용자가 적용된 압력을 통해 디바이스와 상호작용하는 동안 동적으로 변화하는 햅틱 응답이 사용자에게 정보를 전달하기 위해 사용될 수 있다.

햅틱 응답은 스크롤 동안 통과되는 특정 항목에 기초하여 동적으로 변화될 수도 있다. 예를 들어, 사용자가 도 3의 항목 311 내지 317 같은 항목의 리스트를 통해 스크롤하고 있는 경우, 1차 햅틱 응답이 각각의 새로운 또는 다음 항목이 스크롤 중인 것을 나타낼 수 있다. 사용되는 압력 또는 터치 또는 제스처에 기초하여, 디바이스는 또한 스크롤이 진행 중인 또는 스크롤이 통과 중인 특정 항목에 대한 상황 정보를 전달하기 위해서 제2 또는 2차 햅틱 응답을 생성할 수 있다. 예를 들어, 사용자가 디바이스의 가상 음악 앨범의 적층체를 통해 스크롤하는 경우, 사용자가 각각의 앨범 또는 앨범 층을 통해 이동함에 따라 사용자는 햅틱 확인(즉, 1차 햅틱 응답)을 촉발할 수 있다. 디바이스는 부가적으로 또는 대신하여 그 앨범에 대한 추가적인 상황 정보를 사용자에게 제공하는 제2 햅틱 응답을 제공할 수 있다. 상황 정보는 시스템 설정되거나 사용자 규정될 수 있다. 일례로서, 시스템은 클라우드 기반 앨범에 대한 하나의 유형의 햅틱 효과 및 사용자 디바이스에 국부적으로 저장된 앨범에 대한 상이한 유형의 햅틱 효과를 규정할 수 있다. 다른 예로서, 사용자는 일부 앨범을 선호하는 것으로서 지정하도록 선택했을 수 있으며, 디바이스는 선호하는 것으로 식별되지 않은 앨범에 연관된 햅틱 효과와 상이한 선호하는 앨범에 연관된 느낌을 제공한다.

부가적으로, 실시예는 스크롤이 없는 상태에서도 디스플레이 화면에 배치되는 아이콘에 대해 상황 햅틱 효과를 제공할 수 있다. 예를 들어, 복수의 정기적으로 접근되는 아이콘 또는 프로그램을 특징으로 하는 메인 디스플레이 스크린을 갖는 디바이스에서, 시스템 또는 사용자 설정 햅틱 효과는 아이콘이 게임 또는 미디어 플레이어 또는 미디어 파일과 대조되는 폰 또는 메시징 서비스 같은 통신 도구인지 여부를 알려주기 위해 사용될 수 있다.

터치 압력 제어 방법

일 실시예는 터치 압력 제어 방법을 이용한다. 깊이 상호작용의 제3 평면을 통해 이동하는 한가지 방법은 레벨, 메뉴, 콘텐츠 화면, 메시지, 사진, 링크, 맵, 애플리케이션, 또는 다른 콘텐츠 상호작용으로의, 그것을 통한, 및 그것으로부터의 탐색에 의해 사용자를 보조하는 제어 응답을 촉발하기 위해 물리적인 터치 표면의 하나 이상의 터치 점의 임계 압력 감지를 사용하는 것이다. 압력은 간단한 터치 또는 터치 압력으로서 검출될 수 있거나 특정 점 또는 위치에서 터치 표면에 가해진 힘으로서 검출될 수 있거나 터치 표면의 검출 영역에 걸쳐 분해된 힘일 수 있다. 본 실시예에서:

· P(i)(초기 터치 압력) + 추가적인 압력(P(a)) = C(+)(증가된 또는 양의 제어 작용)이다.

· P(i)로부터의 P(a)의 제거 = C(-)(감소된, 음의, 또는 복귀 제어 작용)이다.

· P(i)(초기 터치 압력) + 추가적인 압력(P(a))이 일정하게 유지되는 것 = C(+)(증가된 또는 양의 제어 작용의 지속)이다.

예를 들어, 사용자가 디스플레이 화면에 제1 초기 압력(P(i))을 가할 수 있고 후속하여 P(i)보다 크거나 작을 수 있는 상이한 압력을 가할 수 있다. 압력의 변화는 양 또는 음의 제어 작용 형태로 명령을 전달하기 위해 시스템에 의해 사용될 수 있다.

실시예는 레벨, 메뉴, 콘텐츠 화면, 메시지, 사진, 링크, 맵, 앱, 또는 다른 콘텐츠 상호작용으로의 그리고/또는 그로부터의 단일 z축 이동을 포함한다. 본 실시예에서, 압력 감지가 메시지를 선택하고 그리고/또는 메시지의 콘텐츠를 관찰하기 위해 사용되며 간단한 확인 햅틱 효과(예를 들어, 클릭)를 포함하지만, 2차 햅틱 효과, 누름 또는 압력의 변화를 제공함으로써 접근될 사진 또는 파일 같은 첨부물이 있음을 전달할 수도 있다. 2차 햅틱 효과는 첨부물을 갖는 컨텍스트를 제공하며, 시스템은 첫번째 것과 상이한 햅틱 감각을 사용하여 이를 전달한다. 사용자는 첨부물의 존재를 앎으로써 이익을 얻고 그것에 접근할 능력이 제공될 수 있다.

다른 실시예에서, 압력 감지는 누름 작용에 응답하여 사진을 선택 및/또는 관찰하고 간단한 확인 햅틱 효과(예를 들어, 클릭)를 제공하기 위해 사용되지만, 또한 2차 햅틱 효과를 제공함으로써 사진에 대한 추가적인 상세가 있음을 전달할 수도 있으며, 2차 햅틱 효과는 사진의 선택에 의해 또는 2차 누름 또는 압력의 변화에 응답하여 추가적으로 제공된다. 2차 햅틱 효과는 추가적인 사진 상세의 컨텍스트를 제공하며, 시스템은 첫번째 것과 상이한 햅틱 감각을 이용하여 이를 전달한다. 사용자는 사진 상세의 존재를 앎으로써 이익을 얻고 상세에 접근할 능력이 제공될 수 있다.

다른 실시예에서, 가상 음악 앨범의 적층체를 통해 누르는 상기 압력 상호작용을 이용하는 것은 사용자가 각각의 앨범 층을 통해 이동한다는 확인으로서 햅틱 효과를 촉발할 수 있다. 그러나, 그러한 확인에서, 제공된 햅틱 응답의 유형은 사용자에게 시스템 설정되거나 사용자 규정될 수 있는 그 앨범에 대한 추가적인 상황 정보를 부여한다. 예를 들어, 시스템은 클라우드 기반 앨범에 대한 하나의 느낌 및 사용자 디바이스에 국부적으로 저장된 앨범에 대한 상이한 느낌을 규정할 수 있다. 또는, 사용자는 비선호 앨범과 상이하게 느껴지는 선호물로서 소정의 앨범을 규정했을 수 있거나, 사용자는 특정 음악 장르 또는 아티스트를 식별하기 위해 특정 효과를 설정했을 수 있다. 그래서, 하나의 앨범으로의 또는 그 앨범을 통한 이동은 사용자에게 그 앨범에 대한 상황 정보를 부여할 것이다. P(a)의 제거 같은 압력의 변화는 앨범 노래 리스트의 개방 또는 앨범의 플레이 시작을 유발할 수 있다. 이런 2차 상호작용인 압력의 변화는 사용자 상호작용의 확인/사용자 입력에 대한 시스템 응답과 동일하거나 상이한 햅틱 응답을 가질 수 있다. 제스처는 단독으로 또는 압력과 조합하여 2차 상호작용을 구성할 수도 있다.

앞선 음악 앨범 예와 관련하여, 사용자는 앨범의 적층체를 통해 스크롤 하거나 밀수 있지만, 그 특정 앨범에 대한 노래를 통해 탐색하기 원하거나 특정 아티스트의 앨범 모두를 통해 탐색하기를 원할 수 있다(예를 들어, 도 2의 앨범 211 내지 217을 통한 탐색). 실시예는 2D(x축 또는 y축) 손가락 이동 또는 기울임 같은 동작 제스처를 포함한다. 각각의 제어 상호작용에 대해, 사용자의 안내를 돕기 위해 확인 햅틱 응답이 촉발될 수 있다. 그러나, 부가적으로, 사용자가 앨범의 노래를 통해 탐색함에 따라, (또는 임의의 유사한 하위레벨) 상황 햅틱 응답이 제공될 수 있다.

다른 실시예에서, 상이한 압력 레벨이 상이한 미리설정된 응답과 연관될 수 있다. 예를 들어, 특정 압력 또는 압력 범위를 적용함으로써 특정 화면 또는 애플리케이션, 예를 들어 홈 화면, 다이얼러/텍스팅 애플리케이션, 또는 다른 사용자 규정 사전설정 응답에의 접근이 촉발될 수 있다. 많은 모바일 디바이스가 사용자가 버튼을 누른 상태가 얼마나 긴지 또는 비홈 화면에 얼마 동안 있었는지 또는 애플리케이션에 얼마 동안 있었는지에 따라 상이하게 응답하는 UI 버튼을 갖는 것과 마찬가지로, 사용자는 디바이스 홈 화면으로 복귀하기 위해 홈 화면 버튼을 누를 수 있다. 또한, 홈 화면 버튼이 눌린 상태를 길게 유지하는 것은 홈 화면 설명 메뉴 또는 다른 디바이스 애플리케이션에의 접근 같은 다른 상호작용을 촉발할 수 있거나, 홈 화면 버튼을 유지시키는 것은 음성 인식 애플리케이션의 개시를 촉발할 수 있고, 사용자 상호작용을 확인하는 촉각 응답이 촉발될 수 있다.

부가적으로, 실시예는 명령을 전달하기 위해서 디바이스에 P(i) 또는 압력을 변화를 가하는 동안 사용자에 의해 이루어지는 제스처를 이용할 수 있다.

터치 표면적 제어 방법

다른 실시예는 레벨, 메뉴, 콘텐츠 화면, 메시지, 사진, 링크, 맵, 앱, 또는 다른 콘텐츠 상호작용으로, 그것을 통해, 및 그것으로부터 탐색하도록 사용자를 보조하는 제어 응답을 촉발하기 위해 하나 이상의 터치 점에 의해 덮이는 물리적인 터치 표면의 양을 감지함으로써 깊이 상호작용(z축)의 제3 평면을 통해 이동하는 방법을 포함한다. 본 실시예에서:

· S(i)(초기 표면적) + 추가적인 표면적(S(a)) = C(+)(증가된 또는 양의 제어 작용)이다.

· S(i)로부터의 S(a)의 제거는 반대되는 C(-)(감소된 또는 음의 제어 작용)을 초래한다.

· S1(i) + S2(i) + Sx(i)/x = 평균 터치 표면적 + 추가적인 표면적(S(a)) = (+)(증가된 또는 양의 제어 작용)이거나, 또는

· S1(i) + S2(i) + Sx(i) = 조합된 터치 표면적 + 추가적인 표면적(S(a)) = C(+)(증가된 또는 양의 제어 작용)이다.

· S(i)으로부터의 S(a)의 제거 = C(-)(감소된 또는 음의 제어 작용).

예를 들어, 사용자는 디바이스와 접촉할 수 있고, 접촉은 디스플레이 화면에 대한 제1 초기 표면적(S(i))을 수반하고, 후속하여 S(i)보다 크거나 작을 수 있는 상이한 양의 표면적을 이용한 접촉을 생성한다. 표면적의 변화는 양 또는 음의 제어 작용 형태로 명령을 전달하기 위해 시스템에 의해 이용될 수 있다. 실시예에서, 표면적은 합계(S1(i) + S2(i) + Sx(i))를 구하고 합계를 x로 나눔으로써 평균 표면적으로서 계산될 수 있으며, x는 측정된 별개의 표면적의 수이고, Sx(i)는 일련의 표면적의 마지막 것이다.

임계 압력 음악 앨범 예와 마찬가지로, 표면 커버리지 방법은 동일한 상황 햅틱 응답 고려사항을 갖는 동일한 제스처 감지 고려사항으로 대체될 수 있으며, 사용자가 z축에서 상호작용하는 콘텐츠에 대한 더 많은 정보를 사용자에게 부여한다.

가상 표면 제어 방법

다른 실시예는 가상 또는 증강 현실 시스템에서와 같이 가상 표면을 갖는 투영 인터페이스를 수반하는 방법을 포함한다. 예를 들어, 투영 인터페이스(예를 들어, 도 5의 인터페이스(504, 505))는 물리적인 터치 표면 없이 공간에 드리우도록 나타난다. 가상 표면 제어 방법의 방법은, 하나 이상의 터치 점에 의해 이동되는 거리의 감지를 필요로 하는 제3 깊이 평면을 통한 이동을 추적하는 단계를 포함하며, 레벨, 메뉴, 콘텐츠 화면, 메시지, 사진, 링크, 맵, 앱 또는 다른 콘텐츠 상호작용으로의, 그것을 통한, 그리고 그것으로부터의 탐색에 의해 사용자를 보조하는 추가적인 제어 응답을 촉발할 수 있다. 가상 표면은 가상 평면형, 만곡형, 구형, 또는 다른 형상일 수 있다. 가상 표면 제어 방법의 방법은 가상 공간에서 가해진 힘 또는 거기에서 이동되는 거리에 의해 측정되는 가상 압력 또는 가상 터치 표면 커버리지에 의해 측정되는 가상 슈도 압력을 추적할 수 있다. 본 실시예에서:

· D(i)(초기 터치 점 위치) + 추가적인 거리(D(a)) = C(+)(증가된 또는 양의 제어 작용)이다.

· D(i)로부터의 D(a)의 제거는 반대되는 C(-)(감소된 또는 음의 제어 작용)을 초래한다.

이 제어 방법에서, 사용자는 가상 또는 증강 현실 시스템 내의 가상 표면과의 상호작용에 의해 초기 터치 점(D(i))을 형성한다. 초기 터치 점 위치(D(i))는 가상 또는 증강 현실의 가상 표면의 점에 대응하는 공간의 좌표의 세트일 수 있다. 사용자는 그 후 초기 터치 점 위치(D(i))에 대한 추가적인 거리(D(a))에 대응하는 가상 표면에 대한 이동을 이용할 수 있다. 추가적인 거리(D(a))는 가상 표면을 따른, 가상 표면 안으로의, 또는 가상 표면으로부터 멀어지는 방향으로의 가상 공간 내의 이동에 의해 형성될 수 있다. 일반적으로, 추가적인 거리(D(a))는 가상 표면 안으로의 이동에 대응하며, 시스템은 C(+)인 증가된 또는 양의 제어 작용을 인식할 수 있다. 오히려 추가적인 거리(D(a))가 가상 표면 밖으로의 또는 그로부터 멀어지는 방향으로의 이동인 경우(예를 들어, 초기 터치 점 위치가 가상 표면 내에 있거나 그보다 깊은 경우), 시스템은 오히려 C(-)인 감소된 또는 음의 제어 작용을 인식할 수 있다. 특정 가상 또는 증강 시스템에 따라, 가상 표면을 따른 이동은 가상 또는 증강 현실 객체 및/또는 표면에 대한 지향성에 따라 C(+) 또는 C(-)를 형성하는 것으로 해석될 수도 있다.

가상 표면을 포함하는 하나의 제스처 감지 시나리오에서, 위치 및 모터 센서는 가상 공간에서 사용자의 입력 제스처 및 좌표를 추적할 수 있다. 사용자의 입력 제스처 좌표가 가상 표면의 좌표와 접촉하는 경우, 입력 제스처가 햅틱 피드백 형태일 수 있는 시스템으로부터의 입력 응답의 발생을 초래하는 하나 이상의 가상 입력 압력 또는 슈도 압력 임계치를 통과했는지의 결정이 이루어진다.

초기 터치 점 위치의 설정을 위해, 사용자의 손가락 또는 손 같은 현실 세계 객체, 또는 가상의 칼, 가상의 마술 지팡이 같은 가상 또는 증강 현실에서만 존재하는 가상 객체, 또는 시스템에 의해 형성되는 가상 세계에의 몰두 동안에 가상으로 사용자에게 연결되거나 가상으로 유지될 수 있는 다른 가상 객체에 의해 가상 표면과의 상호작용이 달성될 수 있다.

터치 압력 제어 방법 및 터치 표면 제어 방법에서 논의되는 음악 앨범 예와 마찬가지로, 가상 표면 제어 실시예는 동일하거나 상이한 상황 햅틱 응답 고려사항을 제공하는, 특히 사용자가 가상 표면에 대해 실질적으로 수직인 z축 또는 다른 축을 따라 이동함에 따라 사용자에게 항목 및 상호작용에 관한 정보를 부여하는, 상술한 동일한 제스처 감지 고려사항에 의해 구현될 수 있다.

다중 터치 점 제어 방법

다른 실시예는 레벨, 메뉴, 콘텐츠 화면, 메시지, 사진, 링크, 맵, 앱, 또는 다른 콘텐츠 상호작용으로의, 그를 통한, 그리고 그로부터의 탐색으로 사용자를 보조하는 제어 응답을 촉발하기 위해서 물리적인 또는 가상의 터치 표면의 다수의 터치 점을 감지함으로써 깊이 상호작용의 제3 평면을 통해 이동하는 단계를 포함한다. 예를 들어, 일 실시예에서, 하나의 감지된 점을 이용하는 것은 사용자를 화면, 메뉴, 또는 리스트 안으로 더 깊이 이동시키며, 2개의 감지된 점을 사용하는 것은 사용자를 그 화면, 메뉴, 또는 리스트 깊이로부터 역으로 이동시킨다. 이 다중 터치 점 제어의 방법은 임의의 압력 또는 표면적 커버리지 감지와 독립적으로 또는 그에 추가하여 상호작용을 제어할 수 있다. 본 실시예에서, 감지된 터치 점의 수는 제어 상호작용을 좌우한다. 임계 압력 음악 앨범 예와 마찬가지로, 다중 터치 점 방법은 동일하거나 상이한 햅틱 응답 고려사항을 제공하는, 특히 사용자가 z축을 따라 이동함에 따라 사용자에게 항목 및 상호작용에 관한 정보를 제공하는, 상술한 동일한 제스처 감지 고려사항으로 구현될 수 있다.

본원에서 설명되는 시스템 및 방법은 임의의 햅틱 가능 사용자 인터페이스 디바이스; 물리적인 또는 가상의 터치 화면 또는 터치 표면에 적용될 수 있다.

도 5에서와 같은 가상 객체 및 가상 화면을 특징으로 하는 실시예에서, 햅틱 응답은 착용가능 컴포넌트에 의해 또는 "사출식 햅틱 응답"으로서 발생될 수 있다. 사출식 햅틱 응답의 예는 공기의 사출 펄스 및 저주파 음파이다.

감지 제어 실시예는 단일 사용자 또는 단일 위치로 한정되지 않는다. 서로 모여 있거나 떨어져서 위치되는 하나 이상의 동시 사용자에 대해 각각의 방법이 이용될 수 있다. 예를 들어, 사용자는 깊이 이동을 제어하기 위해 실시예 중 임의의 것을 사용할 수 있으며, 추가적인 사용자는 그 자신의 동시 입력을 통해 그 제어를 정지시키거나 변경할 수 있다. 일례로서, 제1 사용자는 z축을 통해 화면 콘텐츠, 메뉴, 리스트 등의 안으로 이동해 들어갈 수 있는 한편, 제2 사용자는 그들이 제1 사용자와 함께 선택하거나, 논의하거나, 더 충분하게 재검토하고 싶은 콘텐츠를 보거나, 듣거나, 느낄 때 제1 사용자의 깊이 제어를 정지시키거나 변경하기 위해 그들의 감지된 입력을 사용할 수 있다. 제스처는 추가적인 상호작용 제어를 허용하기 위해 제어 방법과 조합될 수 있다. 제스처는 오무리기, 꼬기, 늘리기, 또는 드래깅 제스처 같은 2D 손 제스처를 수반할 수 있거나, 가속도계, 자이로스코프, 눈에 의한 추적 등을 통한 감지 같은 추가적인 하드웨어 컴포넌트를 수반할 수 있다. 이동 및 햅틱 피드백은 이동 속도, 이동 거리, 이동 각도, 표면적, 압력(실제 또는 가상) 등을 통해 통신되는 제스처의 사용을 통해 제어될 수 있다.

도 6은, 일 실시예에 따른 시스템(10)에서 가용한 특정 항목과 연관된 컨텍스트에 기초하여 압력 기반 햅틱 효과를 발생시킬 때의 도 1의 시스템(10)의 기능성의 예의 흐름도이다. 일 실시예에서, 도 6(및 아래의 도 7)의 흐름도의 기능성은 메모리 또는 다른 컴퓨터 판독가능 또는 유형의(tangible) 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 이 기능성은 하드웨어에 의해(예를 들어, 주문형 집적 회로("ASIC"), 프로그래머블 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등의 이용을 통해), 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다.

602에서, 시스템(10)은 제스처를 이용하여 가해진 압력의 입력(즉, 시스템(10)과의 접촉이 발생할 것이거나 발생해야 한다는 것을 나타내는 사용자에 의한 작용)을 검출한다. 제스처는 터치스크린에 대한 터치와 버튼, 트리거, 및 슬라이더 같은 물리적인 컨트롤에 대한 작용도 포함할 수 있다. 제스처는, 사용자가 언제 슬라이딩 제스처를 중단하고 스크린을 들어올릴 것인지를 예측하는 것과 같은 진행 중인 제스처에 있어서의 변화를 포함할 수도 있다. 제스처는 가요성 디바이스의 굽힘, 비틀림, 또는 압착 같은 다른 입력 메커니즘에 관련될 수 있는 파지의 변화를 포함할 수도 있다. 접촉 또는 입력은 적어도 힘, 압력, 제스처, 또는 표면적의 양, 또는 임의의 조합의 형태일 수 있다. 터치스크린은 실제 2차원 표면일 수 있거나 증강 현실 또는 가상 현실 시스템 내에 제공되는 가상 화면일 수 있다.

604에서, 시스템은 압력 입력에 기초하여 제스처와 연관된 레벨을 결정한다. 레벨은 리스트 또는 적층체(예를 들어, 도 3의 레벨 311 내지 317 또는 도 5의 레벨 504 내지 505) 내의 한 계층 또는 한 장소 내의 레벨일 수 있다. 예를 들어, 사용자는 (터치 표면에 대해 실질적으로 수직인 z축을 따라) 디바이스의 디스플레이에 대해 수평, 수직 또는 깊이 평면에서 이동하는 리스트를 통해 스크롤하기를 원할 수 있다. 압력 입력은 실제 압력, 터치 표면적의 측정값("슈도 압력"), 또는 가상 공간을 통해 이동한 거리("가상 압력")일 수 있다. 즉, 압력의 입력은 제스처에 의해 가해진 힘, 제스처와 연관된 측정된 터치 표면적, 또는 제스처에 의해 가상 공간을 통해 이동한 거리에 기초할 수 있다.

606에서, 시스템은 제스처에 기초하여 선택된 레벨에서 항목/아이콘/객체의 선택을 결정한다. 사용자는 압력 레벨, 가해진 압력의 변화, 특정 제스처 또는 제스처들, 또는 그 조합을 사용하여 항목을 선택할 수 있다. 압력 및 제스처는 손가락 같은 단일 입력 또는 다수의 손가락 같은 다중 입력을 사용하여 가해질 수 있다.

608에서, 시스템은 레벨의 항목과 연관된 컨텍스트를 결정한다. 컨텍스트는 특정 디바이스에 위치될 수 있거나 원격으로 저장될 수 있고 디바이스에 의해 접근될 수 있는 상황 데이터베이스에 저장될 수 있다.

610에서, 시스템은 레벨의 항목의 컨텍스트에 기초하여 햅틱 효과를 발생시킨다. 적절한 햅틱 효과는 입력 및 사용자에 의해 선택된 항목의 컨텍스트에 기초하여 발생된다. 햅틱 데이터베이스는 햅틱 효과 신호를 햅틱 출력 디바이스에 송신할 수 있고, 이는 결국 햅틱 효과를 발생시킨다.

도 7은 도 1의 시스템(10)의 기능성의 실시예를 도시하는 흐름도이다. 701에서, 시스템(10)은 시스템(10)의 사용자에 의해 입력되는 터치 입력을 인식한다. 시스템(10)은 터치가 이루어질 때 디바이스의 화면에 현재 표시된 위치 또는 터치 또는 항목과 디바이스의 항목을 연관시킬 수 있다. 시스템(10)은 초기 터치 압력(P(i))(702) 또는 초기 터치 표면적(S(i))(703)을 고려하여 응답할 수 있다. 시스템(10)은 추가적인 터치 압력((+)P(a))(704) 또는 감소된 터치 압력((-)P(a))(705) 형태로 오는 터치 압력, 또는 추가적인 터치 표면적((+)S(a))(706) 또는 감소된 터치 표면적((-)S(a))(707) 형태로 오는 표면적 중 어느 하나의 변화를 인식할 수 있다. 시스템(10)은 그 후 708에서 미리설정된 임계값이 넘어갔는지를 판단한다. 미리설정된 임계값이 넘어가지 않은 경우, 시스템(10)은 작용을 하지 않는다. 그러나, 미리설정된 임계값이 넘어간 경우에는, 시스템(10)은 터치 압력 또는 표면적의 변화를 709, 711의 증가된 또는 양의 제어 작용(C(+)) 또는 710, 712의 감소된, 음의, 또는 복귀 제어 작용(C(-))으로서 분류한다. 시스템(10)이 검출된 터치 입력을 특징지은 후에, 시스템(700)은 713에서 상황 데이터베이스에 접근할 수 있고, 상황 데이터베이스는 701에서 터치 또는 표시되는 항목에 대한 컨텍스트를 제공한다. 상황 데이터베이스는 특정 디바이스에 위치될 수 있거나 원격으로 저장될 수 있고 디바이스에 의해 접근가능할 수 있다. 시스템(10)은 그 후 터치 입력 및 항목의 컨텍스트에 기초하여 714에서 터치 응답을 제공할 수 있다. 시스템(10)은 그 레벨의 항목의 컨텍스트에 기초하여 바람직하게는 햅틱 효과 형태로 터치 응답을 발생시킨다. 상황 데이터베이스는 햅틱 효과 신호를 햅틱 출력 디바이스에 송신하고, 이는 결국 터치 응답으로서 햅틱 효과를 발생시킨다. 햅틱 이외에, 터치 응답은 적절한 바에 따라 시각적, 청각적, 촉각적, 후각적, 또는 미각적 피드백을 포함할 수 있다.

논의된 바와 같이, 실시예는 디바이스에 가해진 압력에 응답하여 상황 햅틱 효과를 제공한다. 압력은 터치, 힘, 또는 가상 압력을 초래하는 가상 터치 또는 가상 힘으로서 적용될 수 있다. 힘은 영역에 걸쳐 제공되거나, 힘은 예를 들어 스타일러스 또는 다른 주변기기의 사용에 의해 특정 점에 가해진다는 의미에서 힘은 임펄스 함수일 수 있다. 압력은 터치 감응 표면, 디바이스의 하우징, 또는 디바이스와 연관된 주변기기에 직접적으로 가해질 수 있다. 압력은 디바이스, 또는 디스플레이 화면, 터치 패드, 변형가능 하우징, 또는 디바이스와 연관된 주변 기기(예를 들어, 스타일러스) 같은 디바이스의 소정 섹션과의 상호작용에 의해 검출될 수 있다. 디바이스에 가해진 힘은 수직력, 마찰력, 장력, 스프링력, 또는 비틀림력, 전단력, 응력, 변형, 사출력, 가상 힘 등을 포함하는 적용력일 수 있다. 상황 햅틱 효과는 사용자에 의한 특정 상호작용에 응답하는 진동, 힘 또는 압력, 에어 퍼프, 및 크기, 주파수, 및 다른 햅틱 파라미터에 기초한 변화를 포함하는 다른 햅틱 응답을 포함할 수 있다.

상술한 바와 같이, 실시예는 사용자 공급 압력에 응답하여 선택된 항목에 대한 추가적인 정보를 사용자에게 제공하기 위해 사용자에게 상황 기반 햅틱 응답을 제공하는 시스템을 제공한다. 사용자에 의해 가해진 압력은 적어도 시스템과 상호작용하기 위해 사용자에 의해 사용되는 힘(실제 압력)의 변화, 시스템과의 상호작용 동안 사용자가 상호작용하는 표면적의 양(슈도 압력)의 변화, 또는 가상 공간에서 이동되는 거리(가상 압력) 등의 제스처의 형태일 수 있다. 특히, 일 실시예는 디바이스의 사용자가 항목의 리스트 또는 적층체를 통해 스크롤하는 것을 허용하며 스크롤 동안 각 항목이 선택되고 선택 영역을 통과할 때 각 항목에 관한 상황 햅틱 피드백이 제공되는 것을 허용한다. 상황 햅틱 피드백은 사용자에 의해 적용되는 압력에 따라 선택될 수 있다. 일 실시예는 또한 가상 또는 증강 현실 시스템의 사용자가 가상 객체를 통해 이동하거나 복수의 가상 객체 중 하나를 선택하는 동안 상황 기반 햅틱 응답을 수신하게 한다. 일 실시예는 특히 사용자가 가상 또는 실제 디스플레이 화면 또는 평면에 대해 z축을 따라 스크롤하거나 이동하는 동안 상황 기반 햅틱 효과를 제공한다.

수개의 실시예들이 본 명세서에서 구체적으로 예시 및/또는 설명되었다. 그러나, 본 발명의 사상 및 의도된 범위 내에서 첨부된 청구항의 범위 내에서 그리고 전술한 교시에 의해 개시된 실시예의 수정 및 변형이 커버된다는 점이 인식될 것이다.

Claims

상황 햅틱 효과를 발생시키는 방법이며, 상기 방법은,
제스처를 사용하여 가해진 압력 입력을 검출하는 단계;
압력 입력에 기초하여 제스처와 연관된 레벨을 결정하는 단계;
제스처에 기초하여 상기 레벨의 항목의 선택을 결정하는 단계;
상기 레벨의 항목과 연관된 컨텍스트를 결정하는 단계; 및
상기 레벨의 항목의 컨텍스트에 기초한 햅틱 효과 파라미터에 따라 항목의 선택에 응답하여 상황 햅틱 효과를 발생시키는 단계를 포함하는, 방법.
제1항에 있어서, 제스처는 2차원 표면에 가해지는, 방법.
제2항에 있어서, 압력 입력은 제스처에 의해 가해지는 힘에 기초하는, 방법.
제2항에 있어서, 압력 입력은 제스처의 터치 표면적에 기초하는, 방법.
제2항에 있어서, 제스처는 2차원 표면에 대해 실질적으로 수직인 축선을 따라 가해지는, 방법.
제1항에 있어서, 3차원 공간 내의 제스처는 가상 표면에 가상 압력을 가하며, 압력 입력은 제스처에 의해 이동된 거리에 기초하는, 방법.
제1항에 있어서, 복수의 항목 각각이 선택됨에 따른 선택 햅틱 효과를 더 포함하는, 방법.
제1항에 있어서, 레벨은 깊이 방향에 있는, 방법.
제1항에 있어서, 상황 햅틱 효과는 제스처에 기초하여 결정되는, 방법.
프로세서에 의해 실행될 때, 프로세서가 상황 햅틱 효과를 발생시키게 하는, 명령어가 저장된 컴퓨터 판독가능 매체이며, 상기 발생은,
제스처를 사용하여 가해진 압력 입력을 결정하는 단계;
압력 입력에 기초하여 제스처와 연관된 레벨을 결정하는 단계;
제스처에 기초하여 상기 레벨의 항목의 선택을 결정하는 단계;
상기 레벨의 항목과 연관된 컨텍스트를 결정하는 단계; 및
상기 레벨의 항목의 컨텍스트에 기초한 햅틱 효과 파라미터에 따라 항목의 선택에 응답하여 상황 햅틱 효과를 발생시키는 단계를 포함하는, 컴퓨터 판독가능 매체.
제10항에 있어서, 2차원 표면에 가해짐에 따라 제스처를 결정하는 단계를 더 포함하는, 컴퓨터 판독가능 매체.
제11항에 있어서, 제스처에 의해 가해진 힘에 기초하여 압력 입력을 결정하는 단계를 더 포함하는, 컴퓨터 판독가능 매체.
제11항에 있어서, 제스처의 터치 표면적에 기초하여 압력 입력을 결정하는 단계를 더 포함하는, 컴퓨터 판독가능 매체.
제11항에 있어서, 2차원 표면에 대해 실질적으로 수직으로 배치되는 축선을 따른 적용에 기초하여 제스처를 결정하는 단계를 더 포함하는, 컴퓨터 판독가능 매체.
상황 햅틱 효과를 발생시키도록 구성되는 시스템이며, 상기 시스템은,
터치 감응 표면;
햅틱 출력 디바이스;
햅틱 출력 디바이스에 결합되는 제어기를 포함하고,
제어기는,
제스처를 사용하여 터치 감응 표면에 가해진 압력 입력을 검출하고,
압력 입력에 기초하여 제스처와 연관된 레벨을 결정하고,
제스처에 기초하여 상기 레벨의 항목의 선택을 결정하고;
상기 레벨의 항목과 연관된 컨텍스트를 결정하며;
상기 레벨의 항목의 컨텍스트에 기초한 햅틱 효과 파라미터에 따라 항목의 선택에 응답하여 상황 햅틱 효과를 발생시키도록 구성되는, 시스템.
제15항에 있어서, 터치 감응 표면은 2차원 표면을 포함하는, 시스템.
제15항에 있어서, 제어기는 제스처에 의해 가해지는 힘에 기초하여 압력 입력을 검출하도록 더 구성되는, 시스템.
제15항에 있어서, 제어기는 제스처와 연관된 측정된 터치 표면적에 기초하여 압력 입력을 검출하도록 더 구성되는, 시스템.
제16항에 있어서, 제어기는 2차원 표면에 대해 실질적으로 수직인 축선을 따라 가해지는 제스처의 요소에 기초하여 압력 입력을 검출하도록 더 구성되는, 시스템.
제15항에 있어서, 가상 또는 증강 현실 생성 엔진을 더 포함하며, 제스처는 가상 현실 또는 증강 현실 내의 가상 객체 또는 증강 객체에 가상 압력을 가하도록 3차원 공간 내에서 이루어지는, 시스템.