KR20170142902A - 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 시스템들 및 방법들 - Google Patents

Abstract

햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 시스템들 및 방법들이 개시된다. 한 가지 예시적인 방법은 햅틱 출력 디바이스가 표면에 햅틱 효과를 출력하게 하도록 구성되는 제1 신호를 출력하는 단계; 햅틱 효과에 응답하여 표면 쪽으로 끌어당겨지는 오브젝트의 표면의 하나 이상의 제1 속도들을 결정하는 단계; 제1 속도들이 대략 제로로 감소하는 것에 응답하여, 제1 신호의 출력을 중단하는 단계; 제1 신호의 출력의 중단에 응답하여, 표면으로부터 멀어지도록 반동하는 오브젝트의 표면의 하나 이상의 제2 속도들을 결정하는 단계; 제2 속도들이 대략 제로로 감소하는 것에 응답하여, 햅틱 효과에 대한 오브젝트의 표면의 응답성을 결정하는 단계; 및 응답성에 기초하여 제2 신호를 출력하는 단계를 포함한다.

Description

햅틱 피드백을 위한 폐쇄-루프 제어를 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR CLOSED-LOOP CONTROL FOR HAPTIC FEEDBACK}

본 출원은 일반적으로 햅틱 피드백에 관한 것이며, 더 구체적으로는 피드백을 위한 폐쇄-루프 제어를 위한 시스템들 및 방법들에 관한 것이다.

스마트폰들과 같은 많은 사용자 디바이스들은 햅틱 능력들을 포함한다. 예를 들어, 종래의 비퍼(beeper)는 배터리에 의해 전력공급되는 이심 회전 질량을 포함할 수 있어서, 활성화될 때 진동 효과들을 생성할 수 있다. 정전기 마찰 햅틱 출력 디바이스들과 같은 다른 타입들의 햅틱 디바이스들 역시 포함될 수 있다. ESF 디바이스들은, 예를 들어, 표면 쪽으로 사용자의 손가락 상의 피부를 끌어당길 수 있는, 표면 상의 고전압 정지 필드들, 예를 들어, 2 킬로볼트(kV)를 생성한다.

햅틱 피드백을 위한 폐쇄-루프 제어를 위한 시스템들 및 방법들에 대한 다양한 예들이 기술된다. 한 가지 예시적인 개시된 방법은 햅틱 출력 디바이스가 표면에 햅틱 효과를 출력하게 하도록 구성되는 제1 신호를 출력하는 단계; 햅틱 효과에 응답하는 오브젝트의 표면의 하나 이상의 제1 특성들을 결정하는 단계; 제1 특성들이 제1 임계에 도달하는 것에 응답하여, 제1 신호의 출력을 중단하는 단계; 제1 신호의 출력의 중단에 응답하여 오브젝트의 표면의 하나 이상의 제2 특성들을 결정하는 단계; 제2 특성들이 제2 임계에 도달하는 것에 응답하여, 햅틱 효과에 대한 오브젝트의 표면의 응답성을 결정하는 단계; 및 응답성에 기초하여 제2 신호를 출력하는 단계를 포함하고, 제2 신호는 햅틱 출력 디바이스가 표면에 제2 햅틱 효과를 출력하게 하도록 구성된다.

한 가지 예시적인 디바이스는 표면; 센서; 표면과 통신하는 햅틱 출력 디바이스; 출력 디바이스 및 센서와 통신하는 프로세서를 포함하고, 프로세서는: 출력 디바이스에 제1 신호를 출력하고 ― 제1 신호는 햅틱 출력 디바이스가 표면에 햅틱 효과를 출력하게 하도록 구성됨 ― ; 센서로부터 수신되는 하나 이상의 제1 센서 신호들에 기초하여 햅틱 효과에 응답하는 오브젝트의 표면의 제1 특성들을 결정하고; 제1 특성들이 제1 임계에 도달하는 것에 응답하여, 제1 신호의 출력을 중단하고; 센서로부터 수신되는 하나 이상의 제2 센서 신호들에 기초하여 제1 신호의 중단에 응답하여 오브젝트의 표면의 제2 특성들을 결정하고; 제2 특성들이 제2 임계에 도달하는 것에 응답하여, 햅틱 효과에 대한 오브젝트의 표면의 응답성을 결정하고; 응답성에 기초하여 햅틱 효과 파라미터를 조정하고; 그리고 응답성에 기초하여 제2 신호를 출력하도록 구성되고, 제2 신호는 햅틱 출력 디바이스가 표면에 제2 햅틱 효과를 출력하게 하도록 구성된다.

한 가지 예시적인 비-일시적 컴퓨터-판독가능한 매체는 프로세서-실행가능한 프로그램 코드를 포함하고, 프로그램 코드는 프로세서가 출력 디바이스에 제1 신호를 출력하고 ― 제1 신호는 출력 디바이스가 표면에 햅틱 효과를 출력하게 하도록 구성됨 ― ; 햅틱 효과에 응답하는 오브젝트의 표면의 하나 이상의 제1 특성들을 결정하고; 제1 특성들이 제1 임계에 도달하는 것에 응답하여, 제1 신호의 출력을 중단하고; 제1 신호의 중단에 응답하여 오브젝트의 표면의 하나 이상의 제2 특성들을 결정하고; 제2 특성들이 제2 임계에 도달하는 것에 응답하여, 햅틱 효과에 대한 오브젝트의 표면의 응답성을 결정하고; 응답성에 기초하여 햅틱 효과 파라미터를 조정하고; 그리고 응답성에 기초하여 제2 신호를 출력하게 하도록 구성되고, 제2 신호는 햅틱 출력 디바이스가 표면에 제2 햅틱 효과를 출력하게 하도록 구성된다.

이러한 예시적인 예들은 이 개시내용의 범위를 제한하거나 정의하는 것이 아니라, 오히려 그것의 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 예들이 상세한 설명에서 논의되며, 이는 추가적인 설명을 제공한다. 다양한 예들에 의해 제공되는 장점들은 이 명세서를 검토함으로써 추가로 이해될 수 있다.

이 명세서 내에 포함되고 이 명세서의 일부를 구성하는 첨부 도면들은 하나 이상의 특정 예들을 예시하며, 예의 기재와 더불어, 특정 예들의 원리들 및 구현예들을 설명하는 역할을 한다.
도 1a-1c는 이 개시내용에 따른 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 시스템을 도시한다.
도 2는 일정 기간 동안(over a period of time) 오브젝트의 표면의 속도의 예시적인 플롯을 도시한다.
도 3은 이 개시내용에 따른 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 방법을 도시한다.
도 4a-5e는 ESF 햅틱 효과를 출력하기 위한 예시적인 신호들을 도시한다.
도 6은 이 개시내용에 따른 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 방법을 도시한다.
도 7a는 일정 기간 동안 오브젝트의 표면의 예시적인 주파수 응답을 도시한다.
도 7b-7c는 오브젝트의 표면의 예시적인 주파수 응답 모델들을 도시한다.
도 8a-8c는 이 개시내용에 따른 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 시스템을 도시한다.
도 9a-10은 이 개시내용에 따른 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 시스템들을 도시한다.

예들은 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 시스템들 및 방법들의 상황에서 본원에 기술된다. 본 기술분야의 통상의 기술자는 후속하는 기재가 단지 예시적이며, 어떤 식으로든 제한적인 것으로 의도되지 않음을 인지할 것이다. 첨부 도면들에 예시된 바와 같은 예들의 구현예들에 대한 참조가 이제 상세하게 이루어질 것이다. 동일한 참조 표시자들은 동일한 또는 유사한 항목들을 지칭하도록 도면들 및 후속하는 기재 전반에 걸쳐 사용될 것이다.

명료함을 위해, 본원에 기술되는 예들의 정례적인 특징들 모두가 도시되고 기술되지는 않는다. 물론, 임의의 이러한 실제 구현예의 개발에서, 다수의 구현예-특정적 결정들이 애플리케이션-관련 및 비즈니스-관련 제약들에의 순응과 같은 개발자의 특정 목표들을 달성하기 위해 이루어져야 하며, 이러한 특정 목표들이 구현예마다 그리고 개발자마다 달라질 것임이 인식될 것이다.

햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 예의 방법

예시적인 예에서, 사용자는 스마트폰 상의 위치에 자신의 손가락끝을 터치하는데, 이는 사용자의 지문을 캡처하고 스마트폰을 자동으로 잠금해제시키고, 폰 상에서의 사용자 프로파일을 활성화시킨다. 사용자는 이후, 자신의 스마트폰을 사용하기 시작하는데, 스마트폰에는 스마트폰의 디스플레이의 표면에 ESF-기반 햅틱 피드백을 적용할 수 있는 정전기력-생성("ESF") 햅틱 출력 디바이스가 구비된다. 사용자가 스마트폰을 사용함에 따라, 상이한 애플리케이션들은 ESF 햅틱 출력 디바이스가 다양한 ESF 햅틱 효과들을 출력하여 햅틱 피드백을 제공하도록 한다. 그러나, 스마트폰이 ESF 효과들을 출력함에 따라, 그것은, 효과들이 적용될 때 사용자의 손가락끝 상의 피부의 모션을 모니터링하여 다양한 ESF 효과들에 대한 피부의 응답성을 결정한다. 예를 들어, 스마트폰은 ESF 햅틱 출력 디바이스에 사각파 구동 신호를 송신하는 것을 수반하는 ESF 햅틱 효과를 출력할 수 있다. 효과를 출력하는 동안, 스마트폰은 스마트폰의 최상부에 위치되고 디스플레이의 표면을 따라 이미지를 캡처하도록 배향되는 소형 카메라를 사용하여 사용자의 손가락끝 상의 피부의 움직임의 이미지들을 캡처한다. 따라서, 스마트폰은 효과가 적용됨에 따라 사용자의 손가락끝의 측면 뷰의 이미지들의 연속을 캡처할 수 있다. 캡처된 이미지들로부터, 스마트폰은, 사용자의 손가락끝 상의 피부가 적용된 ESF 햅틱 효과에 얼마나 빨리 응답하는지를 결정할 수 있다.

이미지들을 캡처한 이후, 그리고 햅틱 효과들이 출력 중인 동안, 스마트폰은 사각파에 의해 생성되는 햅틱 효과가, 예를 들어, 사각파가 ESF 햅틱 출력 디바이스에 "0"을 출력하는 동안, 다시 표면 쪽으로 손가락끝의 피부를 끌어당기기 전에, 그것의 정지 위치로 돌아가도록 하지 않는다고 결정한다. 따라서, 스마트폰은 사각파의 주기가 너무 짧고, 사용자에 의해 느껴지는 햅틱 효과가 최적이 아니라고 결정한다. 스마트폰은 이후 사각파의 주파수를 감소시키고, 추가적인 이미지들을 캡처하여 사각파의 주파수가 더 강한 햅틱 효과를 제공하도록 추가로 튜닝되어야 하는지를 결정한다.

스마트폰이 사각파를 계속 튜닝함에 따라, 그것은 햅틱 효과들이 추후에 다시 출력될 때 재-사용될 수 있는 사용자의 피부의 모델을 개발한다. 모델은, 이 예시적인 예에서, 손가락끝 상의 피부의 공진 주파수에 관한 정보뿐만 아니라 다른 주파수들에 대한 주파수 응답 정보, 예컨대, 이득 정보를 포함하고, 모델을 스마트폰 상의 사용자 프로파일과 연관시킨다.

추후에, 사용자는 상이한 강도들의 ESF 효과들을 제공하는 애플리케이션과 상호작용한다. ESF 햅틱 출력 디바이스를 구동시키기 위한 적절한 신호들을 생성하기 위해, 애플리케이션은 사용자의 프로파일에 액세스하여 사용자의 피부의 모델을 획득하여 ESF 햅틱 효과를 출력할 최적의 주파수들을 식별하고, 모델에 기초하여 구동 신호를 생성한다. 예를 들어, 가장 강한 가능한 효과를 출력하기 위해, 애플리케이션은 사용자의 피부의 공진 주파수를 식별하고, 그 주파수에서 ESF 햅틱 효과를 출력하기 위한 구동 신호를 생성할 수 있다. 그러나, 더 순한 효과를 출력하기 위해, 애플리케이션은 사용자의 피부의 열악한 주파수 응답에 대응하는 주파수를 대신 선택할 수 있다. 또한, 일부 예들에서, 특정 오브젝트의 특성들의 결정들은 특별한 적용된 효과에 대한 하나 이상의 인지 임계들과 효과가 적용될 수 있는 하나 이상의 주파수들 사이의 상관성을 나타내는 데이터를 제공하는 하나 이상의 표들과 함께 사용될 수 있다.

이러한 예는 햅틱 피드백을 위한 폐쇄-루프 제어를 예시한다. 이러한 예시적인 예는 어떠한 식으로도 제한적인 것으로 의도되는 것이 아니라, 대신 본 출원의 발명 대상에 대한 소개를 제공하도록 의도된다. 햅틱 피드백을 위한 폐쇄-루프 제어의 다른 예들이 하기에 기술된다.

이제 도 1a-1c를 참조하면, 도 1a-1c는 이 개시내용에 따른 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 시스템(100)을 도시한다. 시스템(100)은 단면으로, 그리고 사용자의 손가락끝의 시뮬레이트된 표면(피부)(130)과 함께 도시된다. 도 1a-1c에 도시된 시스템은 표면(110), 햅틱 출력 디바이스(120), 및 센서(140)를 포함한다. 이 예에서, 햅틱 출력 디바이스(120)는 ESF 햅틱 출력 디바이스를 포함하고, 센서(140)는, 그것이 ESF 효과에 응답하여 변형됨에 따라 사용자의 손가락끝의 피부(130)의 표면(110)을 따라 이미지를 캡처하도록 배향되는 이미지 센서를 포함한다. 일부 예들에서, 센서(140)는 하나 이상의 행들로 배열되고, 사용자의 손가락끝의 피부(130)로부터 표면(110) 위의 적외선 방출들을 감지하도록 배향되는 복수의 적외선 센서들을 포함할 수 있다. 상이한 높이들에서 이러한 센서들의 다수의 행들을 사용함으로써, 사용자의 손가락끝의 피부(130)의 움직임이 감지될 수 있다. 이벤트-기반 카메라들과 같은 또다른 타입들의 센서들이 사용될 수 있다. 이 예에서, 햅틱 출력 디바이스가 ESF 햅틱 출력 디바이스를 포함하지만, 다른 타입들의 햅틱 출력 디바이스들이 사용될 수 있다는 것에 유의해야 한다. 예를 들어, 적절한 햅틱 출력 디바이스들은 초음파 햅틱 출력 디바이스들, 하나 이상의 공기 퍼프들(puffs of air)을 출력하는 햅틱 출력 디바이스들 등을 포함할 수 있다. 이러한 햅틱 출력 디바이스들은, 오브젝트의 표면을 끌어당기기보다는, 오브젝트의 표면(예를 들어, 사용자의 손가락끝 상의 피부)을 밀어냄으로써 동작할 수 있다. 그러나, 이 개시내용에 따른 예시적인 방법들, 디바이스들 및 시스템들은 예컨대, 다양한 예들에 따라 하나 이상의 수량들의 부호를 반전시키거나, 또는 하나 이상의 시험 조건들을 반전시킴으로써, 인력들보다는 척력들을 수용하도록 적응될 수 있다.

명세서에서 사용될 때, 용어 "비-접촉" 또는 "비-접촉-기반"이, 오브젝트, 예를 들어, 손가락끝이 표면, 예를 들어, 도 1에 도시된 표면(110)에 접촉하지 않는 동안 인가될 수 있는 힘들을 지칭한다는 것에 유의해야 한다. 그러나, 이는 오브젝트와 표면 사이의 접촉을 배제하지 않는다. 예를 들어, 햅틱 효과들은 표면과 접촉하는 손가락에 여전히 적용될 수 있고, 사용자에 의해 여전히 느껴질 수 있거나, 또는 이 개시내용에 따른 예들은 오브젝트와 표면 사이의 접촉을 초래할 수 있다. 이 개시내용에 따른 예들은 오브젝트가 표면과 접촉할 때 그리고 접촉하지 않을 때 모두 동작할 수 있지만, 상이한 센서들이 사용될 수 있거나, 또는 오브젝트의 표면의 상이한 부분들이 오브젝트의 표면이 표면과 접촉하는지의 여부에 기초하여 감지될 수 있다. 예를 들어, 압력 센서가 사용되어 표면과 접촉할 때 오브젝트의 표면의 응답성을 검출할 수 있거나, 또는 이미지 센서가 표면과 접촉하지 않는 오브젝트의 표면의 특성들 또는 부분들만을 모니터링할 수 있다. 추가적인 예들이 이 개시내용의 면밀한 검토로부터 파악될 수 있다.

도 1a는 ESF 햅틱 출력 디바이스(120)가 ESF 효과를 출력하지 않는 동안 정지해 있는(at rest) 시스템(100)을 도시한다. 알 수 있는 바와 같이, 사용자의 손가락끝 상의 피부(130)는 정지해 있다. 도 1b에서, ESF 햅틱 출력 디바이스(120)가 동력공급받고(energized), ESF 효과를 출력하는데, 이는 화살표(150)에 의해 표시되는 바와 같이, 표면(110) 쪽으로 손가락끝 상의 피부(130)를 끌어당긴다. 손가락끝 상의 피부(130)가 표면쪽으로 끌어당겨짐에 따라, 피부(130)는 그것이 최대 스트레치 양(maximum amount of stretch)(또는 정지로부터의 변위)에 도달할 때까지 늘어난다. 추후, 도 1c에 예시된 바와 같이, ESF 햅틱 출력 디바이스(120)는 ESF 효과의 출력을 중단하고, 손가락끝(130) 상의 피부(130)는 화살표(160)에 의해 표시된 바와 같이, 그것의 정지 위치로 되돌아간다.

도 2는 표면(110) 쪽으로 순환적으로 끌어당겨지고 시간 경과에 따라 그것의 정지 위치로 돌아오게 될 때 손가락끝 상의 피부(130)의 속도를 도시하는 그래프를 예시한다. 알 수 있는 바와 같이, 속도는 피부가 표면(110)쪽으로 늘어남에 따라 0(점선(240)에 의해 표시됨)으로부터 최대 속도(210)까지 증가한다. 피부가 그것의 최대 변위에 도달할 때, 속도는 제로로 감소할 것이다. 이때 ESF 효과가 중단되는 경우, 피부는 그것의 정지 위치쪽으로 반동(rebound)하기 시작할 것이고 속도는 최대 속도로 증가하고 이후 그것이 정지 위치에 되돌아옴에 따라 제로를 향해 감소할 것이다. 따라서, ESF 효과들이 인가되고 중단되는 동안 피부(130)의 속도들, 및 특히 속도들이 제로를 교차할 때 사이의 시간(예를 들어, 최대 또는 최소 변위를 나타냄)을 결정함으로써, 사용자의 피부(130)의 특성들은 ESF 햅틱 효과들을 튜닝하기 위해 결정되고 사용될 수 있다.

정지 위치 및 최대 변위가 피부가 다양한 ESF 효과들에 반응함에 따라 일부 오버슈트를 포함할 수 있고, 따라서, 속도들이 피부의 응답을 결정하기 위해 정확한 정지 위치들 또는 최대 변위 위치들을 사용하는 것을 회피하는 방식을 제공할 수 있다는 것이 인식되어야 한다. 그러나, 도 2에 도시된 그래프가 대신, 변위 대 시간, 가속도 대 시간 등을 예시할 수 있다. 어느 경우든, 변위 또는 가속도의 최대 또는 최소 값들이, 제로 속도보다는, 또는 제로 속도에 더하여, 이 개시내용에 따른 다양한 예들에서 사용가능한 정보를 제공할 수 있다.

이제 도 3을 참조하면, 도 3은 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 방법을 도시한다. 도 3의 방법(300)이 도 1의 시스템(100)에 대해 그리고 ESF 햅틱 효과들에 대해 논의될 것이지만, 임의의 다른 햅틱 효과가 다른 예들에서 사용될 수 있다. 추가로, 도 9a-10에 도시되고 하기에 더 상세하게 기술되는 것과 같은, 이 개시내용에 따른 다른 적절한 시스템들 또는 디바이스들이 또한 사용될 수 있다는 것에 유의해야 한다.

도 3의 방법(300)은 블록(310)에서, 프로세서가 제1 신호를 ESF 햅틱 출력 디바이스에 출력하여 ESF 출력 디바이스가 표면(110)에 ESF 효과를 출력하도록 할 때 시작한다. 이 예에서, 제1 신호는 직류(DC) 구동 신호를 포함한다. 그러나, 일부 예들에서, 구동 신호는 다른 특성들을 포함할 수 있다. 예를 들어, 구동 신호는 대략 10 내지 1000Hz(+/- 1%) 범위 내의 주파수를 가지는 교류(AC) 구동 신호를 포함할 수 있다. 일부 예들에서, 더 낮은 주파수에서 크기를 변경시키는 포락선을 따라, 예컨대, 1MHz 혹은 그 이상까지의 주파수들을 가지는 더 높은 주파수의 AC 신호들이 출력될 수 있다. 도 4에서 알 수 있는 바와 같이, 예를 들어, AC 신호는 5kHz의 주파수, 및 500Hz의 주파수를 가지는 포락선에 따라 달라지는 크기를 가진다. 그리고, 도 4에 도시된 예가 정현 파형들을 포함하지만, 다른 적절한 파형들이 사용될 수 있다. 예를 들어, 도 5a-e는, 정현파들(510), 톱니파들(520), 사각파들(530), 스텝-업 사각파들(540), 및 스텝-업/스텝-다운 사각파들(550)을 포함하는, 사용될 수 있는 다른 구동 신호들의 예들을 도시한다. 또다른 타입들의 주기 또는 비주기 파형들이 이 개시내용에 다른 일부 예들에서 사용될 수 있다.

블록(320)에서, 프로세서는 표면(110) 위에 위치되는 오브젝트(130)의 표면의 특성을 결정한다. 이 예에서, 오브젝트(130)는 사람 손가락끝이고, 오브젝트(130)의 표면은 손가락끝 상의 피부이다. 위에서 논의된 바와 같이, ESF 출력 디바이스(120)가 동력공급받을 때, 그것은 표면쪽으로 피부를 끌어당길 수 있고, ESF 출력 디바이스(120)에 동력이 끊길 때, 피부는 그것의 정지 위치로 반동될 수 있다. 예를 들어, ESF 출력 디바이스(120)에 의해 출력되는 힘에 기초하여, 피부가 표면쪽으로 움직임에 따라, 그 속도는 증가하고, 이후 피부가 최대 스트레치 점에 도달함에 따라 제로로 감소할 것이다.

피부가 움직임에 따라, 센서는 피부의 움직임을 검출하고, 센서 신호들을 프로세서에 제공한다. 프로세서는 연속적인 시간들에서 피부의 특성, 예를 들어, 속도를 결정하고, 특성들이 임계 값에 언제 도달하는지를 결정한다. 예를 들어, 프로세서가 연속적으로(at successive times) 피부의 속도를 결정하는 경우, 그것은 임계를 제로로 설정하고, 피부의 속도가 제로, 예를 들어, 최대 스트레치 점에 대략 언제 도달할지를 결정할 수 있다. 일부 예들에서, 프로세서는 연속적인 센서 신호들 사이의 차이들에 기초하여 특성을 결정할 수 있다. 일 예에서, 센서는 표면(110)의 평면을 따라 이미지들을 캡처하도록 배향되는 카메라를 포함하고, 따라서, 예를 들어, 피부가 늘어나는 양을 직접 관측할 수 있다. 피부와 표면 사이의 갭에서의 차이들을 결정함으로써, 프로세서는 속도를, 예컨대, 초당 밀리미터(mm) 단위로 결정할 수 있다. 일부 예들에서, 프로세서는 절대 속도(예를 들어, mm/초)를 결정하는 것이 아니라, 대신, 스캔선들이 연속적인 이미지들에서 피부를 캡처한 수들에서의 차이에 기초하여 속도를 결정할 수 있다. 또한, 이미지들이 이산 시간들에서 취해질 수 있기 때문에, 최대 스트레치 점은 이미지 내에서 캡처되는 것이 아니라, 2개 이상의 연속적인 이미지들 사이에서, 선형 보간, 다항 보간, 또는 스플라인 보간과 같은 보간 기법들에 기초하여 결정될 수 있다. 일부 예들에서, 속도가 제로에 도달하는 대략적인 시간을 결정하기 위한 보간보다는, 시스템은 속도에서의 부호 변경(또는 다른 특성)을 결정하고, 그것을 영교차가 발생했음을 결정하기 위한 프록시(proxy)로서 사용할 수 있다.

일부 예들에서, 다른 타입들의 센서들이 사용될 수 있다. 예를 들어, 용량성 센서들, 초음파 센서들, 또는 다른 범위 센서들과 같은 근접도 센서들이 사용될 수 있다. 일부 이러한 예들에서, 프로세서는 속도, 위치, 가속도, 또는 피부의 다른 특성을 나타내는 연속적인 센서 신호들을 수신할 수 있다. 프로세서는 이후 피부의 하나 이상의 속도들을 결정할 수 있다. 또한, 이러한 기법들 각각에 대해, 하나 이상의 보간 기법들이 사용되어, 대응하는 센서 신호로부터의 정보 없이, 때때로, 오브젝트의 표면의 특성들을 결정할 수 있다.

위에서 논의된 바와 같이, 피부가 다양한 ESF 효과들에 응답함에 따라 정지 위치 및 최대 변위가 일부 오버슈트를 포함할 수 있고, 따라서 상이한 특성들이 피부의 응답을 결정하기 위해 정확한 정지 위치들 또는 최대 변위 위치들을 사용하는 것을 회피하는 방식을 제공할 수 있다는 것이 인식되어야 한다. 그러나, 일부 예들에서, 속도가 아닌 피부의 특성들이 사용될 수 있다. 예를 들어, 프로세서는 대신(또는 추가로) 피부의 변위 또는 가속도를 결정할 수 있다. 예를 들어, 일부 센서들은 위치 또는 가속도를 결정하기에 더 적합한 신호들을 제공할 수 있거나, 또는 일부 예들에서, 그것은 위치 또는 가속도를 결정하기에 계산상으로 덜 비쌀 수 있다. 일부 이러한 예들에서, 변위 또는 가속도의 최대 또는 최소 값들은, 속도 정보가 아닌 또는 속도 정보에 더하여, 이 개시내용에 따른 다양한 예들에서 사용가능한 정보를 제공할 수 있다.

일부 예들에서, 프로세서는 오브젝트(130)의 표면의 다수의 특성들을 결정할 수 있다. 예를 들어, 프로세서는 오브젝트의 표면의 변위뿐만 아니라 속도, 또는 오브젝트(130)의 표면이 표면(110) 쪽으로 움직임에 따라 가속도 또는 시간 경과에 따른 속도의 변경들을 결정할 수 있다.

위의 예들이 표면이 균일하게 움직인다고 가정하는 상황에서 논의되었지만, 다른 예들이 2개 이상의 위치들에서의 오브젝트의 표면의 움직임들을 측정할 수 있다. 예를 들어, 사용자의 손가락끝 상의 피부는 손가락끝 전반에서의 해부학적 변경들에 기초하여 상이한 레이트들에서 가속하거나 움직일 수 있다. 따라서, 센서는 적용되는 효과에 대한 피부의 응답을 결정하기 위해 손가락끝 상의 다수의 위치들을 측정할 수 있다. 예를 들어, 시스템(100)은 손가락끝 상의 다수의 위치들의 속도를 측정할 수 있고, 각각의 포인트에서 속도들 또는 다른 특성들을 결정할 수 있다.

오브젝트의 표면이 적용되는 효과에 응답하여 움직일 수 있지만, 또한 오브젝트 자체의 움직임으로 인해 또한 움직일 수 있다는 것에 유의해야 하는데, 예를 들어, 사용자가 자신의 손가락끝을 움직인다. 일부 예들에서, 센서 정보는 느린 움직임들을 필터링해내도록 필터링될 수 있는데, 이는 오브젝트 그 자체의 움직임을 나타내고, 임계를 초과하는 움직임들을 식별할 수 있다. 예를 들어, 사용자의 손가락끝 상의 피부는 ESF 효과에 응답하여, 예를 들어, 100-1000Hz 범위 내에서 진동할 때 비교적 높은 속도들로 움직일 것인 반면, 사용자가 표면 위에서 자신의 손가락을 고정시키려 시도함에 따라 손가락끝은 훨씬 더 느리게 움직일 수 있다. 일부 예들에서, 필터링보다는(또는 필터링에 더하여), 하나 이상의 근접도 센서들과 같은, 하나 이상의 별도의 센서들이 사용되어 오브젝트 자체의 총 움직임을 검출할 수 있다.

블록(330)에서, 프로세서는 피부의 특성이 임계에 도달했는지를 결정한다. 도달하지 않은 경우, 방법(300)은 블록(310)으로 되돌아간다. 특성이 임계에 도달한 경우, 방법은 블록(340)으로 진행한다. 임계가 값, 또는 값들의 범위에 의해 정의될 수 있거나, 또는 그것이 임의의 다른 값 또는 조건으로서, 예컨대, 결정된 특성들(예를 들어, 속도)의 부호의 변경, 또는 최대 또는 최소 값에 도달한 특성에 의해 정의될 수 있다는 것에 유의해야 하는데, 예를 들어, 효과의 계속되는 적용이 시간 경과에 따른 특성에서의 추가적인 변경을 초래하지 않는다.

위에서 논의된 바와 같이, 프로세서는 위에서 논의된 보간 기법들과 같은 기법들을 사용하여 속도가 제로에 언제 도달할지를 결정할 수 있고, 따라서 측정된 속도는 제로가 아닐 수 있지만, 속도는 가장 최근의 반복 동안, 예컨대, 2개 이상의 연속적인 이미지들 또는 2개 이상의 연속적인 센서 신호들 사이에서 제로였을 수 있는데, 이는 방법이 블록(340)으로 진행하도록 할 수 있다.

또한, 위에서 논의된 바와 같이, 일부 예들에서, 센서(또는 다수의 센서들)는 오브젝트의 표면 상의 다수의 위치들에 관한 정보를 감지할 수 있다. 일부 예들에서, 시스템(100)은 각각의 위치의 속도가 언제 제로에 도달하는지를, 또는 2개 이상의 위치들이 서로의 임계 시간(예를 들어, 0.001초) 내에서 언제 제로에 도달하는지를 결정할 수 있다.

블록(340)에서, 프로세서는 ESF 출력 디바이스에 대한 제1 신호의 출력을 중단한다. 위에서 논의된 바와 같이, 프로세서는 ESF 출력 디바이스에 구동 신호를 직접 제공할 수 있다. 일부 이러한 예들에서, 프로세서는 구동 신호의 출력을 중단할 수 있다. 그러나, 일부 예들에서, 프로세서는 또다른 컴포넌트가 제1 신호를 생성하고, 출력하거나 제1 신호가 ESF 출력 디바이스에 전송되게 하도록 구성되는 인에이블 신호 또는 다른 신호를 제어할 수 있다.

블록(350)에서, 프로세서는 다시 위의 기법들에 따라 오브젝트의 표면의 특성을 결정하지만, 블록(350)에서, 오브젝트의 표면은, 예를 들어, 제1 신호의 출력의 중단에 응답하여 정지 위치로 반동될 수 있다. 따라서, 특성들은 일부 예들에서 음의 값들을 가지는 것으로서 결정될 수 있다.

블록(360)에서, 프로세서는 피부의 특성이 블록(330)에 대해 위에서 논의된 바와 같이 제2 임계에 도달했는지를 결정한다. 이 예에서, 제2 임계는 오브젝트의 표면의 정지 상태에 대응할 수 있거나, 또는 그것은 예컨대 위에서 논의된 임의의 다른 값 또는 조건으로서 정의될 수 있다. 임계에 도달되지 않은 경우, 방법(300)은 블록(350)으로 되돌아간다. 그렇지 않은 경우, 방법(300)은 블록(370)으로 진행한다.

블록(370)에서, 프로세서는 오브젝트(130)의 표면의 응답성을 결정한다. 예를 들어, 프로세서는, 제1 신호의 출력과 오브젝트(130)의 표면의 속도가 예컨대, 최대 스트레치 점에서 제로에 도달하는 시간 사이의 시간을 결정하여 스트레치 시간을 결정하고, 제1 신호의 출력의 중단과 오브젝트(130)의 표면의 속도가 제로에 도달하는 시간 사이의 시간을 결정하여 반동 시간을 결정할 수 있다. 일부 예들에서, 방법은 블록(310)으로 되돌아가서 오브젝트(130)의 표면의 보다 정확한 응답성을 결정하기 위한 추가적인 데이터 점들을 획득할 수 있다. 예를 들어, 방법은 미리 결정된 횟수만큼 반복할 수 있거나, 또는 그것은 데이터의 통계 분석, 예를 들어, 표준 편차가 충분한 데이터가 수집되었음을 나타낼 때까지, 또는 다수의 반복들에 걸친 결정들에서의 변경이 매우 작을 때, 예를 들어, 5% 미만일 때까지 반복할 수 있다.

블록(380)에서, 프로세서는 ESF 출력 디바이스가 ESF 효과를 출력하도록 하는 제2 신호를 출력하고, 제2 신호는 결정된 응답성에 기초한다. 프로세서가 오브젝트(130)의 표면의 응답성을 결정한 이후, 프로세서는 이후 ESF 효과를 야기시키기 위한 새로운 신호를 생성하기 위한 하나 이상의 적절한 파형들을 결정할 수 있다. 예를 들어, 프로세서는 스트레치 시간 및 반동 시간으로부터의 주기를 결정함으로써 ESF 출력 디바이스에 대한 구동 신호에 대한 바람직한 주파수를 결정할 수 있다. 예를 들어, 스트레치 시간이 0.0022초이고 반동 시간이 0.0029초인 경우, 프로세서는 스트레치 및 반동 시간을 추가함으로써 바람직한 ESF 햅틱 효과로서 196.1Hz의 주파수를 결정하여 사인파에 대한 주기를 획득할 수 있다. 일부 예들에서, 프로세서는 대신 상이한 스트레치 시간 및 반동 시간에 기초하여 비대칭적 사각파를 생성할 수 있다. 예를 들어, 위의 예시적인 스트레치 시간 및 반동 시간에 기초하여 0.0051초의 주기를 가지지만, 0.0022초의 "온" 시간과 0.0029초의 "오프" 시간을 가지는 신호가 생성될 수 있다. 일부 예들에서, 주기 파형이 스트레치 시간과 반동 시간 사이의 비에 기초하여 생성될 수 있다. 일부 예들에서, 신호 생성기는 펄스폭 변조기를 포함할 수 있는데, 이는 이러한 결정된 비에 기초하여 펄스-폭 변조된 신호를 출력할 수 있다.

도 3의 방법(300)이, 예컨대 오브젝트의 표면의 응답성에 대한 크기에서의 이러한 변경들의 영향을 결정하기 위해 더 크거나 더 작은 크기를 가지는 ESF 효과를 적용하기 위해, 반복적으로 수행될 수 있다는 것에 유의해야 한다. 추가로, 도 3의 방법(300)은 초음파-기반 햅틱 출력 디바이스들, 하나 이상의 공기 퍼프들을 출력하는 햅틱 출력 디바이스들 등과 같은 다른 타입들의 햅틱 출력 디바이스들과 함께 사용될 수 있다.

이제 도 6을 참조하면, 도 6은 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 방법을 도시한다. 도 6의 방법(600)이 도 1의 시스템에 대해 그리고 ESF 햅틱 효과들에 대해 논의될 것이지만, 임의의 다른 햅틱 효과가 다른 예들에서 사용될 수 있다. 추가로, 도 9a-10에 도시되고 하기에 상세하게 기술된 것과 같은, 본 개시내용에 따른 다른 적절한 시스템들 또는 디바이스들이 또한 사용될 수 있다는 것에 유의해야 한다.

도 6의 방법(600)은 블록(610)에서, 프로세서가 제1 신호를 ESF 햅틱 출력 디바이스에 출력하여 ESF 출력 디바이스가 표면(110)에 ESF 효과를 출력하게 할 때 시작한다. 신호들을 출력하기 위한 기법들의 상이한 예들은 도 3의 방법(300)의 블록(310)에 대해 위에서 논의되었다. 이 예에서, 제1 신호는 손가락끝 상의 피부의 포괄적 특성화에 기초한 미리 결정된 햅틱 효과이다. 그러나, 일부 예들에서, 제1 신호는 제1 신호의 주파수 스위프(frequency sweep)를 포함한다. 예를 들어, 시스템(100)은 사용자의 손가락끝의 공진 주파수 특성들을 결정하려고 시도할 수 있고, 블록(610)에서, 시작 주파수 및 종단 주파수를 선택할 수 있다. 한 가지 이러한 예에서, 제1 신호는 시작 주파수에 기초할 수 있다.

블록(620)에서, 시스템(100)은 ESF 효과가 출력되는 동안 오브젝트의 표면의 특성을 결정한다. 일 예에서, 센서는 표면(110)의 평면을 따라 이미지들을 캡처하도록 배향되는 카메라를 포함하고, 따라서, 피부가 늘어나는 양을 직접 관측할 수 있다. 카메라는 손가락끝의 이미지들을 캡처하고, 예를 들어, ESF 효과가 적용됨에 따라 손가락끝 상의 피부의 최소 및 최대 변위들(또는 속도들, 가속도들 등)에 기초하여 변위의 범위가 결정된다. 따라서, 시스템(100)은 ESF 효과의 인지되는 강도를 결정할 수 있다. 예를 들어, 도 3의 방법(300)으로부터 획득되는 데이터는 손가락끝 상의 피부의 최소 및 최대 변위들에 관한 정보를 제공하는데, 이는, 예컨대 모션의 결정된 범위들의 백분율에 기초하여, ESF 효과의 인지되는 강도를 결정하기 위해 사용될 수 있다.

일부 예들에서, 표면 위를 맴돌기보다는(hover), 오브젝트는 표면(110)과 접촉할 수 있다. 예를 들어, 도 8a는 표면(810)과 접촉하는 예시적인 오브젝트(830)를 예시한다. 압력 센서(840)가 표면(810)에 커플링되고, 예컨대, 오브젝트(830)와 표면(810) 사이의 접촉에 의해, 표면(810)과의 접촉의 압력을 감지하도록 구성된다. 그러나, 오브젝트(830)가 표면과 접촉하기 때문에, 오브젝트(830)와 표면(810) 사이의 압력은 적용되는 ESF 효과에 기초하여 변경될 수 있다. 예를 들어, 도 8b는, 햅틱 출력 디바이스(820)에 의해 출력되는 햅틱 효과에 응답하여, 오브젝트(830)의 표면이 그것이 표면(810)쪽으로 끌어당겨질때(850) 변형되는 것을 예시한다. 따라서, 오브젝트(830)에 의해 표면(810)에 인가되는 압력은 적용되는 햅틱 효과에 기초하여 변경될 수 있다. 압력 센서는 압력의 변경들을 검출하고, 하나 이상의 센서 신호들을 프로세서에 제공한다. 도 8c에서 알 수 있는 바와 같이, 오브젝트(830)는 그것의 초기 또는 정지 상태 및 대응하는 압력으로 되돌아간다(860).

위의 예들이 변위들 또는 압력들의 범위를 결정하지만, 다른 예들은 ESF 효과가 적용됨에 따라 오브젝트의 표면의 다른 특성들을 결정할 수 있다. 예를 들어, 최대 및 최소 속도들 또는 최대 및 최소 가속도들, 또는 압력들 또는 의사-압력들의 최대 또는 최소 변경 레이트들이 결정될 수 있다. 이러한 특성들은 적용되는 ESF 효과의 인지되는 강도를 특성화하는 정보를 또한 제공할 수 있다. 예를 들어, 높은 최대 속도들 또는 가속도들은 고강도 효과들을 나타낼 수 있다. 최대 및 최소 속도들이 선택된 좌표계에 기초하여 양의 그리고 음의 속도들 및 가속도들을 지칭할 수 있거나, 크기만 사용되는 경우 최대 속도들만을 지칭할 수 있다는 것에 유의해야 한다.

블록(630)에서, 시스템(100)은 결정된 특성(들)에 기초하여 ESF 효과에 대한 오브젝트의 표면의 응답성을 결정한다. 도 3의 방법(300)의 블록(370)에 대해 위에서 논의된 바와 같이, 일부 예들에서, 이전에 결정되었던 최대 및 최소 변위들, 압력들, 또는 의사-압력들(또는 속도들, 가속도들, 압력의 변경 레이트들 등)은 변위, 압력, 또는 의사-압력(또는 속도들, 가속도들, 압력의 변경 레이트들 등)의 결정된 범위와 비교되어 특정 ESF 효과에 대한 오브젝트의 표면의 응답성을 결정할 수 있다.

블록(640)에서, 시스템(100)은 ESF 효과에 대한 오브젝트의 표면의 결정된 응답성에 기초하여 ESF 효과 파라미터를 조정한다. 예를 들어, 시스템은 ESF 효과에 대한 오브젝트의 표면의 보다 강력한 반응을 끌어내기 위해 ESF 효과의 주파수가 변경되어야 한다고 결정할 수 있다. 예를 들어, 오브젝트의 표면이 정지 위치로부터 최대 스트레치의 위치까지 움직이고 정지 위치로 되돌아가는데 걸리는 시간에 관한 측정들이 ESF 효과의 주기보다 더 큰 주기를 나타내는 경우, ESF 효과의 주기는 증가하고, 이에 의해 효과의 주파수는 감소할 수 있다. 이러한 결정은 대신, 오브젝트에 의해 인가되는 압력이 초기 압력으로부터 최대 압력까지 증가하고 대략 초기 압력(예를 들어, +/- 1 또는 2% 이내)으로 되돌아가는데 걸리는 시간에 대해 이루어질 수 있다. 일부 예들에서, ESF 효과의 크기가 증가하여, 일정한 주파수를 유지하는 동안 증가한 크기에 대한 오브젝트의 표면의 응답성에 대한 영향을 결정할 수 있다. 일부 예들에서, 예컨대, 위에서 논의된 그리고 도 3의 방법(300)에 대해 논의된 특성들, 뿐만 아니라 이 개시내용의 다른 부분들에 기초하여, 크기 및 주파수와 같은 다수의 파라미터들이 조정될 수 있다.

일부 경우들에서, 오브젝트(130)의 표면의 바람직한 응답은 모션의 최대 범위, 또는 압력의 최대 변경이 아닐 수도 있다. 대신, 바람직한 모션의 범위, 압력의 변경, 또는 다른 응답이 제공될 수 있고, 시스템(100)은 이후 바람직한 응답, 예를 들어, 모션의 특정 범위 또는 타입에 더 양호하게 매치하는 응답을 끌어내도록 ESF 효과 파라미터를 조정할 수 있다.

또한, 일부 예들에서, 상이한 ESF 파라미터들이, 오브젝트가 표면에 접촉하는지 또는 표면에 접촉하지 않는지에 기초하여 사용될 수 있다. 예를 들어, ESF 파라미터들의 한 세트가, 예컨대, 도 1a에 도시된, 표면 위에 위치되는 오브젝트에 적용될 ESF 효과들에 대해 설정될 수 있다. 이러한 파라미터들은 오브젝트가 표면에 접촉하지 않는 동안 ESF 효과에 대한 오브젝트의 응답성에 기초하여 조정될 수 있다. 유사하게, ESF 파라미터들의 제2 세트는 예컨대, 도 8a에 도시된, 표면과 접촉하는 오브젝트에 적용될 ESF 효과들에 대해 설정될 수 있다. 이러한 파라미터들은 위에서 논의된 바와 같이, 예컨대, 압력(또는 의사-압력)의 변경들, 또는 압력(또는 의사-압력)의 변경들의 레이트들에 기초하여, 오브젝트가 표면과 접촉하는 동안 ESF 효과에 대한 오브젝트의 응답성에 기초하여 조정될 수 있다.

또한 일부 예들에서, 표면에 접촉하지 않는 오브젝트에 적용될 하나 이상의 ESF 효과들에 대한 ESF 파라미터는 오브젝트가 표면에 접촉하는 동안 오브젝트의 응답성에 기초하여 조정될 수 있다. 예를 들어, 시스템(100)은 표면에 접촉하지 않는 동안의 오브젝트의 응답성인 것처럼, 표면에 접촉하는 동안의 오브젝트의 응답성을 처리하고, 그에 따라 파라미터들의 어느 한 세트 또는 두 세트들 모두를 조정할 수 있다. 또는, 시스템(100)은 표면에 접촉하는 동안 오브젝트의 응답성인 것처럼 표면과 접촉하지 않는 동안의 오브젝트의 응답성을 처리하고, 그에 따라 파라미터들의 어느 한 세트 또는 두 세트들 모두를 조정할 수 있다. 한 가지 이러한 예가 사용되어 초기에 새로운 사용자를 위한 ESF 파라미터들의 거치 조정들을 수행하고, 추후에 대응하는 활동 모드에만 기초하여 파라미터들의 한 세트 또는 다른 세트의 더 미세한 조정들을 수행할 수 있는데, 예를 들어, 오브젝트가 표면에 접촉하는 동안 이루어지는 측정들에 기초하여 접촉-기반 ESF 파라미터들만을 조정할 수 있다.

블록(650)에서, 시스템(100)은 신호를 ESF 햅틱 출력 디바이스에 출력하여 ESF 출력 디바이스가 도 3의 방법(300)의 블록(310)에 대해 위에서 논의된 바와 같이 조정된 파라미터(들)에 기초하여 표면(110)에 ESF 효과를 출력하게 한다. 방법은 이후 블록(620)으로 되돌아가서 추가로 오브젝트의 표면의 응답성을 결정하거나 ESF 효과를 조정할 수 있다.

도 6의 방법(600)에 따른 예들이, 사용자가 스마트폰과 같은 디바이스를 사용하는 동안 효과를 경험함에 따라 실시간으로 햅틱 효과를 튜닝하는데 사용될 수 있다는 것에 유의해야 한다. 예를 들어, 이 개시내용에 따라 디바이스에 의해 실행되는 애플리케이션은 햅틱 효과가 출력되도록 할 수 있지만, 도 6의 예시적인 방법(600)을 수행하여 사용자의 손가락끝 상의 피부의 응답성에 기초하여 햅틱 효과의 주파수를 조정할 수 있다. 예를 들어, 피부는, 피부가 차가운지 뜨거운지, 젖었는지 말랐는지, 건조한지 아닌지, 깨끗한지 더러운지 등에 기초하여 상이한 응답성을 가질 수 있다. 따라서, 사용자의 피부의 모델이 일부 예들에서 기준선(baseline)을 제공할 수 있지만, 효과에 대해 초기에 선택된 주파수는 단순히 피부의 모델을 사용하기보다는, 사용자의 손가락끝 상의 피부의 실제 응답성에 기초하여 튜닝될 수 있다.

도 6의 방법(600)에 따른 일부 예들이 주파수 스위프를 적용하여 햅틱 효과를 출력할 때 후속적인 사용을 위한 주파수들의 범위에 대해 사용자의 손가락 끝을 특성화할 수 있다. 일 예에서, 디바이스는 하나 이상의 주파수 스위프가 수행되어 사용자를 위한 디바이스를 트레이닝하는 동안 사용자에게 표면 위에 사용자의 손가락 끝을 고정시키도록 요청할 수 있다. 모델이 방법의 결과들에 기초하여 사용자를 위해 개발될 수 있고, 일부 예들에서, 사용자가 디바이스에 로그인할 때 활성화될 수 있는 사용자 프로파일과 연관될 수 있거나, 또는 그렇지 않은 경우 디바이스에 의해 인지된다. 예를 들어, 도 7a는 ESF 효과의 주파수에 대한 오브젝트(130)의 표면의 응답 플롯을 예시하는 반면, 도 7b 및 7c는 특정 주파수에서 그것의 응답에 기초한 사용자의 손가락끝 상의 피부의 예시적인 모델들(750, 760)을 도시한다. 이 예에서, 모델들(750, 760)은 적용되는 주파수 및 적용되는 효과에 대한 사용자의 손가락끝 상의 피부의 응답을 나타내는 기록들, 예컨대, 특정 주파수에서의 응답이 최대 또는 최소였는지, 최대 또는 최소가 주파수 범위에 대한 국부 또는 전역 값(local or global value)이었는지, 또는 적용되는 주파수에서의 사용자의 손가락끝 상의 피부의 최대 변위에 관한 정보를 포함한다. 이러한 정보가 사용되어 상이한 예들에 따라 더 강하거나 더 약한 효과들을 출력할 수 있다.

추가로, 도 6의 방법(600)은, 초음파-기반 햅틱 출력 디바이스들, 하나 이상의 공기 퍼프들을 출력하는 햅틱 출력 디바이스들 등과 같은 다른 타입들의 햅틱 출력 디바이스들과 함께 사용될 수 있다.

이제 도 9a 및 9b를 참조하면, 도 9a 및 9b는 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 디바이스(900)를 예시한다. 도 9a에 도시된 예에서, 디바이스는 터치-감지형 디스플레이 스크린(920) 및 태블릿의 하우징에 진동 효과들을 출력할 수 있는 햅틱 출력 디바이스(도시되지 않음)를 포함하는 태블릿(900)을 포함한다. 추가로, 디바이스(900)는 오브젝트의 표면과 터치-감지형 디스플레이 스크린(920) 사이의 거리를 검출하도록 구성되는 센서(922)를 포함한다. 예를 들어, 센서(922)는 터치-감지형 디스플레이 스크린의 표면을 따라 하나 이상의 이미지들을 캡처하도록 배향되는 하나 이상의 이미지 센서들을 포함할 수 있다. 일부 예들에서, 센서(922)는 오브젝트가 터치-감지형 디스플레이 스크린(920) 쪽으로 그리고 이로부터 멀어지도록 움직임에 따라 오브젝트의 표면의 움직임을 검출하도록 구성되는 하나 이상의 이벤트-기반 카메라들을 포함할 수 있다. 일부 예들에서, 센서(922)는 초음파, 용량성, 자외선, 또는 가시광 센서와 같은, 근접도 센서를 포함할 수 있다. 일부 예들에서, 위에서 논의된 바와 같이, 센서(922)는 압력 센서 또는 의사-압력 센서를 포함할 수 있다.

이제 도 9b를 참조하면, 도 9b는 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 디바이스를 도시한다. 도 9b에 도시된 예에서, 디바이스(900)는 하우징(910), 프로세서(930), 메모리(960), 터치-감지형 디스플레이(920), 햅틱 출력 디바이스(940), 하나 이상의 센서들(950), 하나 이상의 통신 인터페이스들(980), 및 하나 이상의 스피커들(970)을 포함한다. 추가로, 디바이스(900)는 햅틱 출력 디바이스(990)와 통신하는데, 이는 일부 실시예들에 선택적으로 커플링되거나 포함될 수 있다. 프로세서(930)는 메모리(960)와 통신하며, 이 예에서, 프로세서(930)와 메모리(960) 둘 다가 하우징(910) 내에 배치된다. 터치-감지형 표면을 포함하거나 이와 통신하는 터치-감지형 디스플레이(920)는 하우징(910) 내에 부분적으로 배치되고, 따라서, 터치-감지형 디스플레이(920)의 적어도 일부분은 디바이스(900)의 사용자에게 노출된다. 일부 실시예들에서, 터치-감지형 디스플레이(920)는 하우징(910) 내에 배치되지 않을 수도 있다. 예를 들어, 디바이스(900)는 별도의 하우징 내에 배치되는 터치-감지형 디스플레이(920)에 접속되거나 그렇지 않은 경우 이와 통신할 수 있다. 일부 예에서, 하우징(910)은 서로 미끄러질 수 있게 커플링되고, 서로 회전가능하게(pivotably) 커플링되거나, 또는 서로 풀 수 있게 커플링될 수 있는 2개의 하우징들을 포함할 수 있다.

도 9b에 도시된 예에서, 터치-감지형 디스플레이(920)는 프로세서(930)와 통신하고, 프로세서(930) 또는 메모리(960)에 신호들을 제공하고 프로세서(930) 또는 메모리(960)로부터 신호들을 수신하도록 구성된다. 메모리(960)는, 메모리(960)에 저장된 프로그램 코드를 실행하고 신호들을 터치 감지형 디스플레이(920)에 전송하거나 신호들을 터치-감지형 디스플레이(920)로부터 수신하도록 구성되는 프로세서(930)에 의한 사용을 위해, 프로그램 코드 또는 데이터, 또는 둘 모두를 저장하도록 구성된다. 도 9b에 도시된 예에서, 프로세서(930)는 또한 통신 인터페이스(980)와 통신하고, 통신 인터페이스(980)로부터 신호들을 수신하고 통신 인터페이스(980)에 신호들을 출력하여 하나 이상의 원격 컴퓨터들 또는 서버들과 같은 다른 컴포넌트들 또는 디바이스들과 통신하도록 구성된다. 추가로, 프로세서(930)는 햅틱 출력 디바이스(940) 및 햅틱 출력 디바이스(990)와 통신하고, 신호들을 출력하여 햅틱 출력 디바이스(940) 또는 햅틱 출력 디바이스(990) 또는 둘 모두가 하나 이상의 햅틱 효과들을 출력하게 하도록 추가로 구성된다. 또한, 프로세서(930)는 스피커(970)와 통신하고, 신호들을 출력하여 스피커(970)가 사운드들을 출력하게 하도록 구성된다. 다양한 실시예들에서, 디바이스(900)는 더 적은 또는 추가적인 컴포넌트들 또는 디바이스들을 포함하거나 이들과 통신할 수 있다. 예를 들어, 마우스 또는 키보드 또는 둘 모두와 같은 다른 사용자 입력 디바이스들, 또는 추가적인 터치-감지형 디바이스는 디바이스(900) 내에 포함되거나 또는 디바이스(900)와 통신할 수 있다. 또다른 예로서, 디바이스(900)는 하나 이상의 가속계들, 자이로스코프들, 디지털 나침반들, 및/또는 다른 센서들을 포함할 수 있고 그리고/또는 이들과 통신할 수 있다. 도 9b에 도시된 디바이스(900)의 컴포넌트들 및 디바이스(900)와 연관될 수 있는 컴포넌트들의 상세한 설명이 본원에 기술된다.

디바이스(900)는 사용자 입력을 수신하고 소프트웨어 애플리케이션들을 실행할 수 있는 임의의 디바이스일 수 있다. 예를 들어, 도 9b의 디바이스(900)는 터치-감지형 표면을 포함하는 터치-감지형 디스플레이(920)를 포함한다. 일부 실시예들에서, 터치-감지형 표면은 터치-감지형 디스플레이(920) 상에 오버레이될 수 있다. 다른 실시예들에서, 디바이스(900)는 디스플레이 및 별도의 터치-감지형 표면을 포함하거나 이와 통신할 수 있다. 또다른 실시예들에서, 디바이스(900)는 디스플레이를 포함하거나 이와 통신할 수 있고, 마우스, 키보드, 버튼들, 노브들, 슬라이더 제어부들, 스위치들, 휠들, 롤러들, 조이스틱들, 다른 조작기들(manipulanda), 또는 이들의 조합과 같은, 다른 사용자 입력 디바이스들을 포함하거나 이와 통신할 수 있다.

일부 실시예들에서, 하나 이상의 터치-감지형 표면들은 디바이스(900)의 하나 이상의 측면들 상에 포함되거나 디바이스(900)의 하나 이상의 측면들 내에 배치될 수 있다. 예를 들어, 일 예에서, 터치-감지형 표면은 디바이스(900)의 후방 표면 내에 배치되거나 이를 포함한다. 또다른 실시예에서, 제1 터치-감지형 표면은 디바이스(900)의 후방 표면 내에 배치되거나 이를 포함하고, 제2 터치-감지형 표면은 디바이스(900)의 측방 표면 내에 배치되거나 이를 포함한다. 일부 실시예들에서, 시스템은 예컨대, 클램쉘(clamshell) 배열인 또는 미끄러질 수 있는 배열인, 2개 이상의 하우징 컴포넌트들을 포함할 수 있다. 예를 들어, 일 예는 클램쉘의 일부분들 각각에 배치되는 터치-감지형 디스플레이를 가지는 클램쉘 구성을 가지는 시스템을 포함한다. 또한, 디바이스(900)가 디바이스(900)의 하나 이상의 측면들 상에 적어도 하나의 터치-감지 표면을 포함하는 예들에서, 또는 디바이스(900)가 외부 터치-감지형 표면과 통신하는 예들에서, 디스플레이(920)는 터치-감지형 표면을 포함할 수 있거나, 포함하지 않을 수도 있다. 일부 실시예들에서, 하나 이상의 터치-감지형 표면들은 유연한 터치-감지형 표면을 가질 수 있다. 다른 실시예들에서, 하나 이상의 터치-감지형 표면들은 딱딱할 수 있다. 다양한 실시예들에서, 디바이스(900)는 유연한 터치-감지형 표면 및 딱딱한 터치-감지형 표면 모두를 포함할 수 있다.

다양한 실시예들에서, 디바이스(900)는 도 9b에 도시된 예보다 더 적은 컴포넌트 또는 추가적인 컴포넌트들을 포함할 수 있거나 이와 통신할 수 있다. 예를 들어, 일 예에서, 디바이스(900)는 스피커(970)를 포함하지 않는다. 또다른 예에서, 디바이스(900)는 터치-감지형 디스플레이(920)를 포함하는 것이 아니라 터치-감지형 표면을 포함하며, 디스플레이와 통신한다. 따라서, 다양한 실시예들에서, 디바이스(900)는 예컨대, 본원에 개시되는 다양한 예들뿐만 아니라 본 기술분야의 통상의 기술자에게 명백할 변형들에서, 임의의 개수의 컴포넌트들을 포함하거나 이와 통신할 수 있다.

도 9b에 도시된 디바이스(900)의 하우징(910)은 디바이스(900)의 컴포넌트들 중 적어도 일부에 대한 보호를 제공한다. 예를 들어, 하우징(910)은 비, 먼지 등과 같은 외부 환경들로부터 프로세서(930)와 메모리(960)를 보호하는 플라스틱 케이싱일 수 있다. 일부 실시예들에서, 하우징(910)은, 디바이스(900)가 사용자에 의해 낙하되는 경우 손상으로부터 하우징(910) 내의 컴포넌트들을 보호한다. 하우징(910)은 플라스틱, 고무 또는 금속을 포함하지만 이에 제한되지 않는 임의의 적절한 재료로 만들어질 수 있다. 다양한 예들은 상이한 타입들의 하우징들 또는 복수의 하우징들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 디바이스(900)는 휴대용 디바이스, 핸드헬드 디바이스, 장난감, 게임 콘솔, 핸드헬드 비디오 게임 시스템, 게임패드, 게임 컨트롤러, 데스크톱 컴퓨터, e-북 리더기, 휴대용 다기능 디바이스, 예컨대, 셀 폰, 스마트폰, 개인용 디지털 보조단말(PDA), 랩톱, 태블릿 컴퓨터, 디지털 음악 플레이어 등일 수 있다.

일부 예들에서, 디바이스(900)는, 손목 시계, 가상-현실 헤드셋, 팔찌, 손목대, 반지, 귀걸이, 목걸이 등과 같은 다른 장신구, 장갑, 안경, AR 헤드셋과 같은 증강-현실("AR") 디바이스 또는 다른 웨어러블 디바이스와 같은 또다른 디바이스 내에 내장될 수 있다. 따라서, 일부 예들에서, 디바이스(900)는 착용가능하다. 일 예에서, 웨어러블 디바이스와 같은 디바이스(900)는 디스플레이 스크린을 포함하는 것이 아니라, 대신에 하나 이상의 통지 메커니즘들, 예컨대, 하나 이상의 조명들, 예컨대, 하나 이상의 개별 LED들, 하나 이상의 햅틱 출력 디바이스들, 하나 이상의 스피커들 등을 포함할 수 있다. 이러한 디바이스(900)는 하나 이상의 이러한 통지 메커니즘들을 사용하여 사용자에게 하나 이상의 통지들을 생성하도록 구성될 수 있다.

도 9b에 도시된 예에서, 터치-감지형 디스플레이(920)는 사용자가 디바이스(900)와 통신하도록 하기 위한 메커니즘을 제공한다. 예를 들어, 터치-감지형 디스플레이(920)는, 사용자가 터치-감지형 디스플레이(920) 위에서 맴돌고, 이를 터치하거나 누르는 것(이들 모두 이 개시내용에서 접촉이라 지칭될 수 있음)에 응답하여, 사용자의 손가락의 위치 또는 압력 또는 둘 모두를 검출한다. 일 예에서, 접촉은 카메라의 사용을 통해 발생할 수 있다. 예를 들어, 사용자가 디바이스(900)의 디스플레이(920) 상에 디스플레이되는 콘텐츠를 봄에 따라, 카메라가 뷰어의 눈 움직임들을 추적하기 위해 사용될 수 있거나, 또는 사용자의 눈의 움직임들이 예컨대, 페이지를 넘기거나 텍스트의 일부분을 강조하기 위한 커맨드들을 디바이스에 전송하기 위해 사용될 수 있다. 이 예에서, 햅틱 효과들이 뷰어의 눈 움직임들에 적어도 부분적으로 기초하여 트리거될 수 있다. 예를 들어, 햅틱 효과는 뷰어가 디스플레이(920)의 특정 위치에서 콘텐츠를 보고 있다는 결정이 이루어질 때 출력될 수 있다. 일부 실시예들에서, 터치-감지형 디스플레이(920)는, 터치-감지형 디스플레이(920) 상의 하나 이상의 접촉들의 위치, 압력, 접촉 패치의 크기, 또는 이들 중 임의의 것을 결정하는 하나 이상의 센서들을 포함하거나, 이들과 접속되거나, 또는 그렇지 않은 경우 이들과 통신할 수 있다.

일부 실시예들에서, 터치-감지형 디스플레이(920)는 복수의 동시적 접촉들에 관한 정보를 감지하고 제공할 수 있는 멀티-터치 터치-감지형 디스플레이(multi-touch touch-sensitive display)를 포함할 수 있다. 예를 들어, 일 예에서, 터치-감지형 디스플레이(920)는 상호 커패시턴스 시스템을 포함하거나 이와 통신한다. 일부 예들은 압력 또는 의사-압력을 감지하는 능력을 가질 수 있고, 하나 이상의 접촉 위치들에서 감지된 압력 또는 의사-압력과 연관된 정보를 프로세서에 제공할 수 있다. 또다른 예에서, 터치-감지형 디스플레이(920)는 절대 커패시턴스 시스템을 포함하거나 이와 통신한다. 일부 실시예들에서, 터치-감지형 디스플레이(920)는 저항성 패널, 용량성 패널, 적외선 LED들, 광검출기들, 이미지 센서들, 광학 카메라들, 또는 이들의 조합을 포함하거나, 이들과 통신할 수 있다. 따라서, 터치-감지형 디스플레이(920)는 예를 들어, 저항성 신호, 용량성 신호, 적외선 신호, 광학 신호, 열 신호, 분산성 신호, 또는 음향 펄스 기술들, 또는 이들의 조합과 같은, 터치-감지형 표면 상의 접촉을 결정하기 위한 임의의 적절한 기술을 포함할 수 있다.

도 9b에 도시된 예에서, 햅틱 출력 디바이스(940) 및 햅틱 출력 디바이스(990)는 프로세서(930)와 통신하며, 하나 이상의 햅틱 효과들을 제공하도록 구성된다. 예를 들어, 일 예에서, 프로세서(930)에 의해, 활성화 신호가 햅틱 출력 디바이스(940), 햅틱 출력 디바이스(990), 또는 둘 모두에 제공될 때, 각자의 햅틱 출력 디바이스(들)(940, 990)는 활성화 신호에 기초하여 햅틱 효과를 출력한다. 예를 들어, 도시된 예에서, 프로세서(930)는 아날로그 구동 신호를 포함하는 햅틱 출력 신호를 햅틱 출력 디바이스(940)에 전송하도록 구성된다. 일부 실시예들에서, 프로세서(930)는 하이-레벨 커맨드를 햅틱 출력 디바이스(990)에 전송하도록 구성되고, 커맨드는 적절한 구동 신호를 생성하여 햅틱 출력 디바이스(990)가 햅틱 효과를 출력하게 하기 위해 사용될 커맨드 식별자 및 0개 이상의 파라미터들을 포함한다. 다른 실시예들에서, 상이한 신호들 및 상이한 신호 타입들이 하나 이상의 햅틱 출력 디바이스들 각각에 송신될 수 있다. 예를 들어, 일부 실시예들에서, 프로세서는 로우-레벨 구동 신호들을 전송하여 햅틱 출력 디바이스가 햅틱 효과를 출력하도록 구동할 수 있다. 이러한 구동 신호는 증폭기에 의해 증폭될 수 있거나, 또는 구동되는 특정 햅틱 출력 디바이스를 수용하기 위해 적절한 프로세서들 또는 회로를 사용하여 디지털 신호에서 아날로그 신호로, 또는 아날로그 신호에서 디지털 신호로 전환될 수 있다.

햅틱 출력 디바이스(990)와 같은 햅틱 출력 디바이스는 하나 이상의 햅틱 효과들을 출력할 수 있는 임의의 컴포넌트 또는 컴포넌트들의 콜렉션일 수 있다. 예를 들어, 햅틱 출력 디바이스는, 이심 회전 질량(ERM) 액츄에이터, 선형 공진 액츄에이터(LRA), 압전 액츄에이터, 음성 코일 액츄에이터, 전기-활성 폴리머(EAP) 액츄에이터, 형상 기억 합금, 페이저, DC 모터, AC 모터, 이동 자석 액츄에이터(moving magnet actuator), 스마트겔, 정전기 액츄에이터, 전자촉각 액츄에이터(electrotactile actuator), 변형가능 표면, 정전기 마찰(ESF) 디바이스, 초음파 마찰(USF) 디바이스, 또는 햅틱 출력 디바이스의 기능들을 수행하거나 햅틱 효과를 출력할 수 있는 임의의 다른 햅틱 출력 디바이스 또는 컴포넌트들의 콜렉션을 포함하지만 이에 제한되지 않는 다양한 타입들 중 하나일 수 있다. 다수의 햅틱 출력 디바이스들 또는 상이한 크기의 햅틱 출력 디바이스들은 진동 주파수들의 범위를 제공하기 위해 사용될 수 있으며, 이는 개별적으로 또는 동시에 활성화될 수 있다. 다양한 예들은 단일의 또는 다수의 햅틱 출력 디바이스들을 포함할 수 있고, 동일한 타입의 출력 디바이스들 또는 상이한 타입들의 출력 디바이스들의 조합을 가질 수 있다.

다른 실시예들에서, 하나 이상의 컴포넌트들의 변형은 햅틱 효과를 생성하기 위해 사용될 수 있다. 예를 들어, 하나 이상의 햅틱 효과들이 출력되어 표면의 형상 또는 표면의 마찰 계수를 변경할 수 있다. 예를 들어, 하나 이상의 햅틱 효과들은 표면 상의 마찰을 변경시키기 위해 사용되는 정전기력 및/또는 초음파력을 발생시킴으로써 생성된다. 다른 실시예들에서, 스마트겔을 포함하는 하나 이상의 영역들과 같은 투명한 변형 엘리먼트들의 어레이가 사용되어 햅틱 효과를 생성할 수 있다. 햅틱 출력 디바이스는 또한 정전기 마찰(ESF), 초음파 표면 마찰(USF)을 사용하는 것, 또는 초음파 햅틱 트랜스듀서를 이용하여 음향 복사 압력을 유도하는 것, 또는 햅틱 기판 및 유연한 또는 변형가능한 표면을 사용하는 것, 또는 에어 제트를 사용하여 공기 퍼프와 같은 투사된 햅틱 출력을 제공하는 것 등과 같은, 비-기계식 또는 비-진동식 디바이스들을 널리 포함한다. 마찰 또는 변형 효과들을 생성할 수 있는, 햅틱 출력 디바이스(990)와 같은 햅틱 출력 디바이스들을 포함하는 일부 예들에서, 햅틱 출력 디바이스는 터치-감지형 디스플레이 상에 오버레이될 수 있거나, 또는 그렇지 않은 경우 터치-감지형 디스플레이(920)에 커플링될 수 있고, 따라서 마찰 또는 변형 효과들이 사용자에 의해 터치되도록 구성되는 터치-감지형 표면에 적용될 수 있다. 일부 실시예들에서, 사용자에 의해 또는 시스템에 커플링되는 별도의 터치-분리 입력 디바이스에서 접촉될 수 있는 하우징의 일부분들과 같은 시스템의 다른 부분들이 이러한 힘들을 제공할 수 있다. 2011년 4월 22일에 "Systems and Methods for Providing Haptic Effects"라는 명칭으로 출원되었으며 그 전체가 참조로 본원에 포함되는 공동-계류중인 미국 특허 출원 제13/092,484호는 하나 이상의 햅틱 효과들이 생성될 수 있는 방식들을 기술하고 다양한 햅틱 출력 디바이스들을 기술한다.

하기 표 1에 열거된 합성 방법 예들을 포함하지만 이에 제한되지 않는 임의의 타입의 입력 합성 방법이 사용되어 하나 이상의 햅틱 효과 신호들로부터 상호작용 파라미터들을 생성할 수 있다는 것이 인지될 것이다.

도 9b의 예시적인 디바이스에서, 센서(950)는 디바이스(900)의 위치를 결정하기 위해 사용될 수 있는 하나 이상의 센서 신호들을 생성하도록 구성된다. 예를 들어, 센서(950)는 GPS 수신기를 포함할 수 있다. 일부 예들에서, 센서(950)는 WiFi 신호들을 수신하고 그 신호들을 프로세서(930)에 제공할 수 있는 WiFi 컴포넌트일 수 있다. 일부 예들에서, 센서(950)는 디바이스(900)의 움직임을 검출하도록 구성되는 하나 이상의 가속계들 또는 자이로스코프들일 수 있다.

도 9b의 예시적인 디바이스에서, 통신 인터페이스(980)는 프로세서(930)와 통신하고, 디바이스(900)로부터 다른 컴포넌트들 또는 다른 디바이스들로 유선 또는 무선 통신들을 제공한다. 예를 들어, 통신 인터페이스(980)는 디바이스(900)와통신 네트워크 사이에 무선 통신을 제공할 수 있다. 일부 실시예들에서, 통신 인터페이스(980)는 또다른 디바이스(900) 및/또는 하나 이상의 다른 디바이스들과 같은, 하나 이상의 다른 디바이스들에 통신들을 제공할 수 있다. 통신 인터페이스(980)는 디바이스(900)가 또다른 컴포넌트, 디바이스, 또는 네트워크와 통신할 수 있게 하는 임의의 컴포넌트 또는 컴포넌트들의 콜렉션일 수 있다. 예를 들어, 통신 인터페이스(980)는 PCI 통신 어댑터, USB 네트워크 어댑터, 또는 이더넷 어댑터를 포함할 수 있다. 통신 인터페이스(980)는 802.11 a, g, b, 또는 n을 포함하는, 무선 이더넷을 사용하여 통신할 수 있다. 일 예에서, 통신 인터페이스(980)는 라디오 주파수(RF), 블루투스, CDMA, TDMA, FDMA, GSM, Wi-Fi, 위성, 또는 다른 셀룰러 또는 무선 기술을 사용하여 통신할 수 있다. 다른 실시예들에서, 통신 인터페이스(980)는, 이더넷, 토큰 링, USB, 파이어와이어 1394, 광섬유 등과 같은, 유선 접속을 통해 통신할 수 있고 하나 이상의 네트워크와 통신할 수 있다. 일부 실시예들에서, 디바이스(900)는 단일 통신 인터페이스(980)를 포함한다. 다른 실시예들에서, 디바이스(900)는 2개, 3개, 4개 또는 그 이상의 통신 인터페이스들을 포함한다.

이제 도 10을 참조하면, 도 10은 햅틱 피드백을 위한 폐쇄-루프 제어를 위한 예시적인 디바이스(1000)를 도시한다. 예시적인 디바이스(1000)는 표면(1010), 출력 디바이스(1020), 및 표면 상에 오버레이되는 근접도 센서(1030)를 포함한다. 이 예에서, 근접도 센서(1030)는 용량성 근접도 센서를 포함한다. 이 예에서, 디바이스(1000)는 ESF 효과들을 표면(1010)에 출력하고, 오브젝트(1040)의 표면이 ESF 효과들에 응답함에 따라 오브젝트(1040)의 표면의 움직임을 결정하도록 구성된다. 위에서 논의된 바와 같이, 오브젝트(1040)의 표면은 ESF 효과가 적용되는 동안 표면(1010) 쪽으로 끌어당겨질 수 있다. 오브젝트(1040)의 표면이 ESF 효과에 응답하여 움직임에 따라, 근접도 센서(1030)는, ESF 효과에 응답하여, 속도들, 변위들, 위치들, 가속도들 등과 같은, 오브젝트의 표면의 특성들을 결정할 수 있는 프로세서(도시되지 않음)에 센서 신호들을 제공할 수 있다.

도 10의 디바이스(1000)가 용량성 근접도 센서(1030)를 포함하지만, 임의의 적절한 근접도 센서가 사용될 수 있다. 일부 예들에서, 디바이스(1000)(또는 이 개시내용에 따른 다른 디바이스들 또는 시스템들)는 햅틱 효과들이 적용될 수 있는 전용 표면 영역을 포함할 수 있다. 일부 이러한 예들에서, 이미지 센서는 표면 영역 아래에 위치되고, 햅틱 효과가 적용됨에 따라 오브젝트의 표면의 이미지들을 캡처하도록 배향될 수 있고, 오브젝트의 표면의 형상, 반사도, 또는 다른 시각적 특성에서의 변경들에 기초하여, 오브젝트의 표면의 특성들을 결정할 수 있다. 일부 예들에서, 이미지 센서보다는(또는 이에 추가하여), 레이저 진동계가, 반사된 레이저 광에 기초하여 오브젝트(1040)의 표면의 특성들을 검출하도록 사용될 수 있다.

본원의 방법들 및 시스템들의 일부 예들이 다양한 머신들 상에서 실행하는 소프트웨어의 견지에서 기술되지만, 방법들 및 시스템들은 또한, 다양한 방법들을 구체적으로 실행하기 위해 필드-프로그래밍가능 게이트 어레이(FPGA)와 같은 특수-구성된 하드웨어로서 구현될 수 있다. 예를 들어, 예들은 디지털 전자 회로로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다. 일 예에서, 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는, 프로세서에 커플링되는 랜덤 액세스 메모리(RAM)와 같은 컴퓨터-판독가능한 매체를 포함한다. 프로세서는 메모리에 저장된 컴퓨터-실행가능한 프로그램 명령들을 실행하는데, 예컨대, 이미지를 편집하기 위한 하나 이상의 컴퓨터 프로그램들을 실행한다. 이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 응용-특정적 집적 회로(ASIC), 필드-프로그래밍가능 게이트 어레이(FPGA)들, 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들, 프로그래밍가능 인터럽트 컨트롤러(PIC)들, 프로그래밍가능 논리 디바이스(PLD)들, 프로그래밍가능 판독 전용 메모리(PROM)들, 전기적 프로그래밍가능 판독 전용 메모리(EPROM 또는 EEPROM)들과 같은 프로그래밍가능 전자 디바이스들, 또는 다른 유사한 디바이스들을 더 포함할 수 있다.

이러한 프로세서들은, 프로세서에 의해 실행될 때 프로세서가 프로세서에 의해 수행되거나 보조되는 것으로서 본원에 기술되는 단계들을 수행하게 할 수 있는 명령들을 저장할 수 있는 매체, 예를 들어, 컴퓨터-판독가능한 저장 매체를 포함할 수 있거나 이와 통신할 수 있다. 컴퓨터-판독가능한 매체의 예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터-판독가능한 명령들을 제공할 수 있는 전자, 광학, 자기, 또는 다른 저장 디바이스를 포함할 수 있지만 이에 제한되지 않는다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 제한되지 않는다. 기술되는 프로세서 및 프로세싱은 하나 이상의 구조체들 내에 있을 수 있고, 하나 이상의 구조체들을 통해 분산될 수 있다. 프로세서는 본원에 기술되는 방법들(또는 방법들의 일부분들) 중 하나 이상을 수행하기 위한 코드를 포함할 수 있다.

일부 예들의 이전 기재는 예시 및 기재의 목적으로만 제시되었으며, 완전한 것으로 의도되지도 또는 개시내용을 개시된 정확한 형태들로 제한하도록 의도되지도 않는다. 그것의 다수의 수정들 및 조정들은 개시내용이 사상 및 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에게 명백할 것이다.

예 또는 구현예에 대한 본원에서의 참조는, 예와 관련하여 기술되는 특정 특징, 구조, 동작 또는 다른 특성이 개시내용의 적어도 하나의 구현예에 포함될 수 있음을 의미한다. 개시내용은 그렇게 기술되는 특정 예들 또는 구현예들에 제한되지 않는다. 명세서 내의 여러 곳에서의 구문 "일 예에서", "예에서", "일 구현예에서", "구현예에서", 또는 그 변형들의 출현은 반드시 동일한 예 또는 구현예를 지칭하지는 않는다. 일 예 또는 구현예와 관련하여 이 명세서에 기술되는 임의의 특정 특징, 구조, 동작 또는 다른 특성은 임의의 다른 예 또는 구현예에 관해 기술되는 다른 특징들, 구조들, 동작들, 또는 다른 특성들과 조합될 수 있다.

Claims (24)

1. 방법으로서,
   햅틱 출력 디바이스가 표면에 햅틱 효과를 출력하게 하도록 구성되는 제1 신호를 출력하는 단계;
   상기 햅틱 효과에 응답하는 오브젝트의 표면의 하나 이상의 제1 특성들을 결정하는 단계;
   상기 제1 특성들이 제1 임계에 도달하는 것에 응답하여, 상기 제1 신호의 출력을 중단하는 단계;
   상기 제1 신호의 출력을 중단하는 것에 응답하는 상기 오브젝트의 표면의 하나 이상의 제2 특성들을 결정하는 단계;
   상기 제2 특성들이 제2 임계에 도달하는 것에 응답하여, 상기 햅틱 효과에 대한 상기 오브젝트의 표면의 응답성을 결정하는 단계; 및
   상기 응답성에 기초하여 제2 신호를 출력하는 단계
   를 포함하고, 상기 제2 신호는 상기 햅틱 출력 디바이스가 상기 표면에 제2 햅틱 효과를 출력하게 하도록 구성되는 방법.
2. 제1항에 있어서, 상기 제1 신호를 출력하는 단계, 상기 제1 특성들을 결정하는 단계, 상기 제1 신호의 출력을 중단하는 단계, 및 상기 제2 특성들을 결정하는 단계를 반복적으로 수행하여, 상기 오브젝트의 표면의 대략적인 공진 주파수(approximate resonant frequency)를 결정하는 단계를 더 포함하는 방법.
3. 제1항에 있어서, 상기 햅틱 출력 디바이스는 정전기 마찰(electrostatic friction)(ESF) 햅틱 출력 디바이스를 포함하고, 상기 햅틱 효과는 ESF 햅틱 효과를 포함하는 방법.
4. 제1항에 있어서, 상기 제1 신호를 출력하는 단계, 상기 제1 특성들을 결정하는 단계, 상기 제1 신호의 출력을 중단하는 단계, 및 상기 제2 특성들을 결정하는 단계를 반복적으로 수행하여, 상기 오브젝트의 표면의 주파수 응답 모델을 생성하는 단계를 더 포함하는 방법.
5. 제4항에 있어서, 제3 햅틱 효과를 생성하고 출력하는 단계를 더 포함하고, 상기 제3 햅틱 효과는 상기 오브젝트의 표면의 상기 주파수 응답 모델에 기초하는 방법.
6. 제1항에 있어서, 상기 제1 및 제2 특성들을 결정하는 것은 이미지 센서로부터의 이미지들에 기초하는 방법.
7. 제1항에 있어서, 상기 제1 및 제2 특성들을 결정하는 것은 하나 이상의 근접도 센서들로부터의 센서 신호들에 기초하는 방법.
8. 제1항에 있어서, 상기 제1 및 제2 특성들을 결정하는 것은 하나 이상의 압력 센서들로부터의 센서 신호들에 기초하는 방법.
9. 디바이스로서,
   표면;
   센서;
   상기 표면과 통신하는 햅틱 출력 디바이스;
   상기 출력 디바이스 및 상기 센서와 통신하는 프로세서
   를 포함하고, 상기 프로세서는:
   상기 햅틱 출력 디바이스에 제1 신호를 출력하고 ― 상기 제1 신호는 상기 햅틱 출력 디바이스가 상기 표면에 햅틱 효과를 출력하게 하도록 구성됨 ― ;
   상기 센서로부터 수신되는 하나 이상의 제1 센서 신호들에 기초하여 상기 햅틱 효과에 응답하는 오브젝트의 표면의 제1 특성들을 결정하고;
   상기 특성들이 제1 임계에 도달하는 것에 응답하여, 상기 제1 신호의 출력을 중단하고;
   상기 센서로부터 수신되는 하나 이상의 제2 센서 신호들에 기초하여 상기 제1 신호를 중단하는 것에 응답하는 상기 오브젝트의 표면의 제2 특성들을 결정하고;
   상기 제2 특성들이 제2 임계에 도달하는 것에 응답하여, 상기 햅틱 효과에 대한 상기 오브젝트의 표면의 응답성을 결정하고;
   상기 응답성에 기초하여 햅틱 효과 파라미터를 조정하고; 그리고
   상기 응답성에 기초하여 상기 햅틱 출력 디바이스에 제2 신호를 출력하도록 구성되고, 상기 제2 신호는 상기 햅틱 출력 디바이스가 상기 표면에 제2 햅틱 효과를 출력하게 하도록 구성되는 디바이스.
10. 제9항에 있어서, 상기 프로세서는 반복적으로 상기 제1 신호를 출력하고, 상기 제1 특성들을 결정하고, 상기 제1 신호의 출력을 중단하고, 상기 제2 특성들을 결정하여 상기 오브젝트의 표면의 대략적인 공진 주파수를 결정하도록 추가로 구성되는 디바이스.
11. 제9항에 있어서, 상기 햅틱 출력 디바이스는 정전기 마찰(ESF) 햅틱 출력 디바이스를 포함하고, 상기 햅틱 효과는 ESF 햅틱 효과를 포함하는 디바이스.
12. 제9항에 있어서, 상기 프로세서는 반복적으로 상기 제1 신호를 출력하고, 상기 제1 특성들을 결정하고, 상기 제1 신호의 출력을 중단하고, 상기 제2 특성들을 결정하여 상기 오브젝트의 표면의 주파수 응답 모델을 생성하도록 추가로 구성되는 디바이스.
13. 제11항에 있어서, 상기 프로세서는 제3 햅틱 효과를 생성하고 출력하도록 추가로 구성되고, 상기 제3 햅틱 효과는 상기 오브젝트의 표면의 주파수 응답 모델에 기초하는 디바이스.
14. 제9항에 있어서, 상기 센서는 이미지 센서를 포함하는 디바이스.
15. 제9항에 있어서, 상기 센서는 근접도 센서를 포함하는 디바이스.
16. 제9항에 있어서, 상기 센서는 압력 센서를 포함하는 디바이스.
17. 프로세서-실행가능한 프로그램 코드를 포함하는 비-일시적 컴퓨터-판독가능한 매체로서, 상기 프로그램 코드는 프로세서가:
    출력 디바이스에 제1 신호를 출력하고 ― 상기 제1 신호는 상기 출력 디바이스가 표면에 햅틱 효과를 출력하게 하도록 구성됨 ― ;
    상기 햅틱 효과에 응답하는 오브젝트의 표면의 하나 이상의 제1 특성들을 결정하고;
    상기 제1 특성들이 제1 임계에 도달하는 것에 응답하여, 상기 제1 신호의 출력을 중단하고;
    상기 제1 신호의 중단에 응답하는 상기 오브젝트의 표면의 하나 이상의 제2 특성들을 결정하고;
    상기 제2 특성들이 제2 임계에 도달하는 것에 응답하여, 상기 햅틱 효과에 대한 상기 오브젝트의 표면의 응답성을 결정하고;
    상기 응답성에 기초하여 햅틱 효과 파라미터를 조정하고; 그리고
    상기 응답성에 기초하여 상기 햅틱 출력 디바이스에 제2 신호를 출력하게 하도록 구성되고, 상기 제2 신호는 상기 햅틱 출력 디바이스가 상기 표면에 제2 햅틱 효과를 출력하게 하도록 구성되는 비-일시적 컴퓨터-판독가능한 매체.
18. 제17항에 있어서, 상기 프로그램 코드는 상기 프로세서가 반복적으로 제1 신호를 출력하고, 상기 제1 특성들을 결정하고, 상기 제1 신호의 출력을 중단하고, 상기 제2 특성들을 결정하여 상기 오브젝트의 표면의 대략적인 공진 주파수를 결정하게 하도록 추가로 구성되는 비-일시적 컴퓨터-판독가능한 매체.
19. 제17항에 있어서, 상기 햅틱 출력 디바이스는 정전기 마찰(ESF) 햅틱 출력 디바이스를 포함하고, 상기 햅틱 효과는 ESF 햅틱 효과를 포함하는 비-일시적 컴퓨터-판독가능한 매체.
20. 제17항에 있어서, 상기 프로그램 코드는 상기 프로세서가 반복적으로 상기 제1 신호를 출력하고, 상기 제1 특성들을 결정하고, 상기 제1 신호의 출력을 중단하고, 상기 제2 특성들을 결정하여 상기 오브젝트의 표면의 주파수 응답 모델을 생성하게 하도록 추가로 구성되는 비-일시적 컴퓨터-판독가능한 매체.
21. 제19항에 있어서, 상기 프로그램 코드는 상기 프로세서가 제3 햅틱 효과를 생성하고 출력하게 하도록 추가로 구성되고, 상기 제3 햅틱 효과는 상기 오브젝트의 표면의 주파수 응답 모델에 기초하는 비-일시적 컴퓨터-판독가능한 매체.
22. 제17항에 있어서, 상기 프로그램 코드는 상기 프로세서가 이미지 센서로부터의 이미지들에 기초하여 상기 제1 및 제2 특성들을 결정하게 하도록 추가로 구성되는 비-일시적 컴퓨터-판독가능한 매체.
23. 제17항에 있어서, 상기 프로그램 코드는 상기 프로세서가 하나 이상의 근접도 센서들로부터의 센서 신호들에 기초하여 상기 제1 및 제2 특성들을 결정하게 하도록 추가로 구성되는 비-일시적 컴퓨터-판독가능한 매체.
24. 제17항에 있어서, 상기 프로그램 코드는 상기 프로세서가 하나 이상의 압력 센서들로부터의 센서 신호들에 기초하여 상기 제1 및 제2 특성들을 결정하게 하도록 추가로 구성되는 비-일시적 컴퓨터-판독가능한 매체.

Images